大数据项目及实现

1，离线数据处理：项目内容为通过对网站访问日志的采集和清洗，结合数据库中的结构化用户数据，统计并展示网站的PV、UV情况，以对网站的运行情况进行监控。通过此项目，回顾并串联前面讲述的离线数据处理相关技术，如：FIune、Sqoop、Hive、Spark等，了解和掌握PB级数据离线处理的一般过程和架构。

2，流式数据处理：项目内容为通过对数据库交易数据修改的实时同步，监控网站实时交易情况，以提高网站交易情况监控的时效性，降低网站运行的风险。 通过此项目，回顾并串联前面讲述的实时数据处理相关技术，如：kafka、Spark、Streaning和HBase等，了解和掌握实时数据处理的一般过程和架构。

3，推荐系统：项目内容，基于公开数据库的商品推荐，某大型互金公司产品推荐系统剖析， 通过对公司实际推荐项目的剖析和根据真实数据搭建推荐系统的实操演练，了解推荐系统的一般架构和常用算法。

推荐系统实践 – 零一海

最近热门推荐

时间上下文itemCF算法： 最常用的是基于物品的个性化推荐系统

物品相似度

在线推荐 ： 用户近期行为更关键

时间上下文相关的userCF算法

用户兴趣相似度

相似兴趣用户最近行为

地点上下文

4，搜索系统：项目内容，通过网站爬虫爬取网站数据，然后基于KlastlcSeard和Klbana搭建一个完整的搜索系统。

5，系统运行情况仪表盘： 通过对网站访问日志的采集和清洗，结合数据库中的结构化用户数据，统计并展示网站的PV，UV情况，以对网站的运行情况进行监控。通过此项目，回顾并串联前面讲述的离线数据处理相关技术，如Flume，Sqoop，Hive，Spark等，掌握PB级数据离线处理的一般过程和架构。

6， 实时交易监控系统 ： 过对数据库交易数据修改的实时同步，监控网站实时交易情况，以提高网站交易情况监控的时效性，降低网站运行的风险。通过此项目，回顾并串联前面讲述的实时数据处理相关技术，如Kafka，Spark Streaming和HBase等，掌握实时数据处理的一般过程和架构。

7，推荐系统理论与实战： 讲解推荐系统的相关背景，常用算法及通用架构；基于公开数据集从零构建一个电影推荐系统。通过对公司实际推荐项目的剖析和根据真实数据搭建推荐系统的实操演练，了解推荐系统的一般架构和常用算法

8，数据仓库搭建理论与实战： 讲解数据仓库搭建的方法论，常用建模理论；以互金公司数据仓库搭建场景作为切入，实例演示数据仓库搭建过程及技术架构。

9，分布式业务监控系统： 讲解业务监控系统需求背景，基于大数据的技术方案；通过实例代码搭建完整的业务监控系统

10，基于ES的日志系统 ： 基于Flume，ElasticSearch等技术搭建系统日志收集与查询系统。

11，信贷需求预测系统： 以京东信贷需求预测竞赛为背景，实例讲解数据挖掘项目中如何设计特征，模型基础，建模以及调参等。

12，用户画像系统 ： 讲解用户画像系统的需求背景，基于大数据技术的解决方案；通过实例代码演示用户画像系统的搭建。