大数据下基于Spark的电商实时推荐系统的设计与实现

岑凯伦;于红岩;杨腾霄

【期刊名称】《现代计算机（专业版）》 【年(卷),期】2016(000)024

【摘 要】大数据下基于Hadoop平台构建的电商推荐系统存在着计算缓慢、无法根据用户实时行为作出推荐的问题.针对以上问题,设计和实现基于Spark平台的电商实时推荐系统.与Hadoop平台构建的推荐系统相比,系统首先基于Spark平台构建了分布式日志采集模块和分布式日志数据传输模块,用于采集和传输用户隐式行为日志,解决电子商务跨系统数据源收集问题;其次在统一数据源的基础上,采用基于Spark的矩阵分解推荐模型进行离线训练,提升离线推荐训练的效率;进而在离线推荐的基础上,提出一种使用Spark Streaming实时流技术对电商日志数据做实时过滤,获取用户当前所需商品,并将离线推荐结果与实时推荐结果通过统一介质融合的方案,实现对用户隐式行为进行实时推荐反馈的功能.最后经实验证明,基于Spark平台的电商实时推荐系统相对于Hadoop平台的电商推荐系统具有更高的可靠性和稳定性,能够承载大规模数据量,离线推荐训练速度相对于Hadoop平台提高10倍,并且对用户的实时行为也能够作出实时推荐反馈,提升5％的交易转化率,增强电商网站的用户体验. 【总页数】9页(P61-69) 【作 者】岑凯伦;于红岩;杨腾霄

【作者单位】上海海事大学信息工程学院,上海201306;上海海事大学交通运输学院,上海201306;上海纽盾科技有限公司研发部,上海200092

【正文语种】中 文 【相关文献】

1.基于Spark的分布式实时推荐系统 [J], 王佳娴;王中杰 2.大数据下基于Spark的电商智能推荐云平台的研究 [J], 俞华锋

3.基于Spark平台的电子商务实时推荐系统建设和应用 [J], 蒋丛萃;陈巧灵 4.基于Spark Streaming实时推荐系统的研究与设计 [J], 刘宇;周虎

5.基于Spark大数据处理的电影推荐系统设计与实现 [J], 朱炳旭;叶传奇;王君洋;李应霆;李玉进

因版权原因，仅展示原文概要，查看原文内容请购买