大数据时代电子商务个性化推荐发展趋势

  本文关键词：基于MapReduce的电子商务个性化推荐研究，由笔耕文化传播整理发布。

文／丁然

　　 摘要： 目前文献中对于电子商务个性化研究多集中在传统理论层面，且大多探讨基于内容推荐方法和基于协同推荐方法，而对大数据时代下的个性化推荐的研究相对很少。本文通过研究大数据的数据挖掘方法及电子商务的发展，试图探讨个性化推荐的方法，最后探讨了大数据背景下电子商务个性化推荐服务的发展方向。

　　 关键字： 大数据；个性化推荐；精准化营销引言

　　随着网络技术的不断发展，网络信息不断涌现，信息量呈指数形式增长，然而用户无法在如此多的信息中快速准确地找到自己所需的信息。信息超载的问题日益严重，针对这种问题，研究学者提出个性化推荐，即电商根据消费者的兴趣爱好和购买记录，向消费者推荐其感兴趣的商品信息。

1、大数据时代

　　大数据既是数据量的一个激增（从最开始企业的ERP/CRM数据，逐步扩大到增加互联网数据，再到物联网的传感器等相关数据），同时也是数据复杂性的提升。大数据时代下的数据类型各式各样，有非结构化信息又有结构化信息，例如文本、视频等，而且数据的搜索和分析速度要求也越来越高。

　　1.1 大数据时代的电子商务发展趋势

　　电子商务是指利用计算机网络技术，从事各种商业经济活动，以期实现商务的网络化。纵观可知，电子商务的发展分为三个层次：建立易于实施的可操作系统（初级层次）；维系牢固的商业链（中级层次）；实现全方位的数字自动化（高级层次）。随着Internet的迅速发展，电子商务的发展已经进入了一个精细化、隐形化的阶段，透过数据挖掘消费者的偏好，，进而进行精准化营销。

　　随着互联网的出现，以及与大数据有关的技术的研发，让大量数据的搜索和分析逐步可行，同时互联网的特征又导致这些数据能够被高速度和大容量的传播，由此互联网引入了由用户产生数据的模式，这种模式的特征是多源头，低成本，更及时。目前的电子商务发展迅速，主要原因是能获得数据进行分析，实时通过互联网获得用户的需求，从而电商才能进行精准化营销。同时人工智能、信息系统和决策科学的发展促进了多种分析方法及工具的推动，包括数据挖掘，顾客行为模型，决策支持等等。

　　1.2 大数据的数据挖掘技术

　　大数据时代的数据（Data）是零散的和复杂的，通过过滤和分析后才能成为有用的信息，然后所需的信息整合成资源则成为知识，对知识的深层分析领悟则升华为智慧。数据是源头，是分析和价值增值的基石；技术是手段，是精准化营销的关键。

　　数据挖掘的目标是从数据库中大量复杂无序的数据中发现隐含的、有意义的知识，主要有以下挖掘技术：

　　1) 自动预测趋势和行为，利用数据挖掘工具自动在数据库中查找预测性信息，并根据这些信息快速地直接得出结论。

　　2) 关联分析，主要挖掘用户的信息，然后根据模型进行用户之间以及产品与用户之间关联预测。

　　3) 聚类分析，即比传统分析方法更复杂，根据数据库中的记录通过工具划分为不同类别，进而针对每一类深层次分析。

　　4) 概念描述，即对某类对象的深层次意义进行描述，从而得出其共有的特征。概念描述可以划分为以下两种：特征性描述，即描述某对象或项目的共同具有的特征；区别性描述，即描述不同对象之间的区别。对于特征性描述，仅仅描述所有对象或者项目的共性所在；然而关于区别性描述的方法特别多，比如遗传算法、决策树方法等。

　　5) 偏差检测：数据库中的数据一般是正常数据，偶尔会有异常记录，如果能对从数据库中的这些偏差进行分析，会对学术指导有意义。偏差包括很多隐含式的信息，主要包括如不满足规则的特例、分类中的反常实例、量值随时间的变化、观测结果与模型预测值的偏差等。进行偏差检测的基本方法主要是寻找参照值与观测结果之间有意义的区别。

2、个性化推荐方法

　　个性化推荐系统是建立在互联网上对用户信息进行搜集，根据用户的兴趣爱好、评价记录等数据，运用推荐模型分析，最终提供给用户个性化的信息，满足用户的消费需求。推荐基于：网站最热卖商品、客户所处城市、客户过去的购买行为和购买记录，推测客户将来可能的购买行为。

　　2.1 基于内容的推荐技术

　　基于内容的推荐技术（content based recommendation）是大数据时代信息搜索分析的重要内容。该方法主要根据消费者评价对象的记录及特征，不断学习用户的偏好，利用用户模型并依据用户资料与其他特征相似的对象进行匹配测算，匹配度较高的推荐对象作为推荐结果推荐给用户。主要是根据用户自己购买记录或浏览记录进行推荐。基于内容的个性化推荐的最大优势是建立在推荐产品的属性特征上，而不单独依赖于用户对产品的主观评价，更能客观准确地给出产品推荐，在基于内容的个性化推荐系统中用户相关的特征属性来定义推荐产品，以用户评价产品的特征为依据，通过机器语言挖掘用户的兴趣，发现用户与预测项目的相似度。

　　2.2 基于协同过滤的推荐技术

　　协同过滤系统是目前应用最广泛的推荐系统。主要是根据与用户偏好最为相似的邻居用户来对项目的偏好进行推荐，类似于消费者之间具有相同的兴趣。基于协同过滤的推荐方法对于项目没有特别要求，能处理许多非结构化数据。

　　此种方式的推荐，和日常生活中亲朋好友的推荐类似。协同过滤技术是从用户的兴趣出发做出个性化的产品推荐，借助商业智能等手段，所以推荐的自动化程度很高。个性化推荐系统从用户的购买行为及浏览日志等不同的渠道获取，而不需要用户根据自己的兴趣或者需求来再次搜索产品，将进一步提高个性化推荐的精准程度[1]。

　　2.3 基于混合的推荐技术

　　基于内容的信息过滤技术是基于产品自身的特征，而基于协同过滤的技术主要依赖于用户的个性化信息做出个性化推荐。把两种方法结合提出混合推荐方法，例如，新用户和新产品问题得到解决。主要是新用户可以选择的信息比较少，然而对于新产品来说，没有被选的信息，这种冷启动问题不断出现，单纯的基于内容的推荐系统和基于协同过滤的推荐系统是无法处理此种问题的。

　　2.4 基于大数据的推荐技术

　　对于单一节点的数据挖掘系统在挖掘海量数据源时，处理能力有限，扩展性差，传统的个性化推荐技术在大数据环境下存在计算瓶颈。改善单个节点推荐算法扩展性问题的方法有很多，虽然在一定程度上提高了算法扩展性，但是有限的硬件计算能力远不能满足日渐增长的处理需求。

　　云计算的出现为这一问题的解决提供了新的思路。研究学者提出了基于云计算技术的个性化推荐方法，即将大数据集和推荐计算分解到多台计算机上并行处理，其中hadoop组成部分之一的分布式编程系统（MapReduce），即是一种编程模型，可以运行在异构环境下，编程简单，不必关心底层实现细节，可用于大规模数据集的并行运算。MapReduce可以有效提高海量数据挖掘工作的效率。

3、大数据环境下的个性化推荐的发展趋势

　　3.1 聚集分散数据以关联化

　　关联分析指如果事物之间存在关联关系，那么其中任何一个事物的情况就能通过其他事物进行预测分析。通过关联分析挖掘隐藏在数据间的相互关系，可以将产品进行关联，网络搜索时能及时出现关联产品，提高产品的销售及知名度。企业可以充分利用网上的信息资源，逐步将自己的商品与其他商品进行关联，丰富了企业客户信息的同时也获得需求信息的深度与广度，帮助客户选择更适合的商品。

　　3.2 精准化营销

　　通过数据挖掘分析消费者偏好，进而推荐各类业务或应用，例如应用软件、团购信息、电视节目等，将之延伸到商用化服务，此过程就是利用“数据挖掘技术”帮助运营商进行精准营销。精准化营销可以通过Map-Reduce模型、NoSQL和Key-value存储等相关理论的分析，设计大数据营销分布方案，针对精准化营销等特定应用，解决数据一致性检索的追溯性问题等。

　　3.3 电子商务智能平台

　　例如刚推出的的红包刷屏，汇聚多家软件于一体，提供个性化推荐服务，既省时、又准确、全面的为用户推荐应用软件信息。但是，服务产品的粒度会越来越小，随着商品用户提供知识服务，商品平台的服务模式逐步发生变化，从传统的基于关键词匹配的检索服务平台迈向基于语义的智能检索服务平台，在网上搜集用户的信息和项目信息，然后通过程序进行匹配测算，根据匹配结果进行产品推荐，综合运用各种推荐方法，以期建成一个知识汇聚的智能商务平台。

结语

　　随着互联网业务的不断拓宽，每天有大量的数据需要去分析、处理。在大量数据源源不断到来之时，其数据具有多维性、剧烈增长的特征，用户对商品的需求难以把握，给商务性网站个性化推荐服务带来极大挑战和机遇。推荐系统经历了将近20年的发展，在电子商务、社交网站等众多领域越来越重要。推荐系统的研究，不仅可以利用信息过滤的方法帮助消费者更好地利用互联网信息，又可以成为电商营销的手段，提高电商的消费者黏着度以及推广其相关产品或服务。

参考文献

　　[1]李小龙.基于MapReduce的电子商务个性化推荐研究[D].北京:北京交通大学,2014

作者简介：丁然 ，辽宁师范大学，2013级硕士研究生，研究方向为信息管理与商务智能。

  本文关键词：基于MapReduce的电子商务个性化推荐研究，由笔耕文化传播整理发布。