第一篇:项目需求分析与设计

1. 项目需求分析

搜狗用户日志分析系统
  1. 项目业务需求
  2.采集用户海量浏览日志信息
  3.实时统计分析TopN用户浏览最高的新闻话题
  4.实时统计分析已经曝光的新闻话题总量
  5.实时统计用户新闻浏览量最高的时间段

2. 系统架构设计

第一篇:项目需求分析与设计_第1张图片

3. 数据流程设计

第一篇:项目需求分析与设计_第2张图片

4. 集群角色规划

hadoop1 hadoop2 hadoop3
hdfs(nn)
hdfs(dn)
yarn(rm)
yarn(nm)
journalnode
zookeeper
hive
hbase(master)
hbase(rs)

你可能感兴趣的:(大数据实战)