大数据应用场景-推荐系统

一. 推荐系统主要分3个部分:

1. offline部分-离线:

采用的技术主要有MapReduce,spark,hive,mahout等.

离线挖掘出来的有效数据,为了能够快速的提供服务,一般通过nosql非关系数据库,有时也叫缓存数据库作为中间介质进行交换,为前端提供服务.

2. nearline部分-近线:

采用的技术主要有流行比较的是流式计算框架storm(毫秒级别),spark streaming(秒级别)

3. online部分-在线:

采用的技术主要有:webUI,webserver,nosql

二. 推荐系统简单的架构流程图:

image.png

1. UI界面主要用来展示三块内容:

(1) 通过一定方式展示推荐物品(物品标题,缩略图,简介等).
(2) 推荐的理由.
(3) 数据反馈的个性化推荐.

2. 用户行为日志存储的位置:

(1) 数据库或者缓存;
(2) hdfs 分布式文件存储系统.

三. 推荐系统抽象的推荐方式:

推荐系统是基于物品信息和用户信息以及用户行为数据(评分,收藏,购买等行为)进行推荐物品的.

常用的算法有如下三种:

1. 基于人口统计的推荐,比如:根据用户的相似度进行推荐,性别,年龄等重要特征;
2. 基于内容的推荐,比如物品元数据等,买键盘推荐鼠标之类的;
3. 基于协同过滤的推荐,比如豆瓣网,相似的人还都看了哪些数据,然后向你推荐.

推荐的方式方法有很多,所以基于不同的推荐模型算法就有很多种对应的推荐引擎,多种推荐引擎会汇总得出一个初始的推荐结果,这些结果经过过滤和排名,最后展现给用户.

四. 推荐系统完整的生态架构流程图:

生态架构图