大数据之电商项目实战

架构设计：

数据来源：

手机，PC（用户标识）

用户标识可以用饼干记录

用户画像保存在Redis的或者mysql的或HBase的中

业务服务器

电商网站，推荐系统

集群服务器

HDFS

火花

架构1.0阶段

用户：手机，PC

业务服务器：tomcat的，记录日志，水槽采集日志，落地到HDFS

集群服务器：HDFS

缺点：

业务和日志采集都在一台服务器上，存在单点故障，性能会受限制，只能做离线分析

架构2.0阶段

用户：手机，PC

业务服务器：查看详细信息请求

业务服务器的数据写入数据库中：mysql的，Redis的

日志采集服务器：记录用户行为信息请求，nignx，打日志，水槽采集，同步数据到HDFS用户的行为数据

将数据库中的数据和HDFS中的数据结合做用户画像，获取更加全面的用户信息（将行为数据和数据库中的数据关联），使用流式计算框架火花

火花处理完的数据存在新的MySQL的（聚合后的数据）或HBASE（明细数据）或ES（明细数据）

最后卷筒纸系统（springboot本质上就是+火花用SpringMVC）调用火花处理完的数据展现给用户。

浏览器发送访问请求到服务器，服务器返回报表给浏览器在显示器上显示

推荐系统

用户登录的时候获得用户标识，根据标识去火花处理完的数据中查找推荐的数据，把推荐的结果返回给客户

优点：
1。业务服务器和日志服务器解耦合，方便扩展

缺点：

1.各个服务都存在单点故障

2.不能做实时计算

3.flume存在问题（没有偏移量），数据丢失或重复消费的问题

日志采集如何做？

1. 通过页面埋点

点击提交会触发JS，发送给nignx服务器

打开网站 - > F12 - >在网络搜索框中搜索记录 - >复制URL编码 - >在网站上解码 - >查看信息

Nignx安装

1下载nignx1,14,0,上传服务器（http://nginx.org/download/）下载地址

2 预编译./configure

3  yum install -y gcc

4  make编译

5  make install 安装

6  默认安装路径/usr/local/nginx

7  进入/usr/local/nginx/sbin,启动./nginx

8  ps -ef | grep nginx 查看进程（1个worker，1个master，worker可以配置）

9  通过ip地址加端口号访问Nginx，默认端口号80

10  看到welcom to nginx，安装成功