大型企业级云产品-数据统计分析系统（离线处理-流处理-批处理）

课程介绍

本套教程为真实的大数据实战案例，适合有大数据基础的学员学习，熟练掌握本套大数据案例，完全可以胜任企业级的大数据开发。祝愿各位转型的大数据学子拿到自己理想的收入。

学习地址：http://www.roncoo.com/course/view/ddd0b0730aec4bf3ae5d2e602ff870da

课程说明

本课程将通过一个真实的企业级云产品项目进行讲解，该项目是国内专业的移动应用统计分析平台，每天触达14亿活跃设备，每月覆盖80%以上新增手机消费者，几乎覆盖全部iOS消费者，通过该项目系统帮助移动应用开发商统计和分析流量来源、内容使用、用户属性和行为数据，以便开发商利用数据进行产品、运营、推广策略的决策。提供基本统计、活跃用户、使用频率、使用时长、页面访问、地域分析、版本分析、渠道分析、设备分析、操作系统、分辨率、运营商、联网方式、自定义事件分析、终端异常分析,流失用户分析等多种统计分析手段。

课程所用到的开发环境和用到的技术：

系统：window7，
开发工具是:eclipse，IDEA，
本课程项目是一个综合项目，技术涵盖java web，大数据，虚拟化，linux服务器等
具体包含： spring，spark，spark streaming，spark mlib，hive，flume,kafka,hadoop，hbase，mongodb，dubbo,分布式缓存，redis，docker，nginx,easyui，highcharts等等。

此课程是按照真实企业级开发项目流程进行讲解，通过学习此课程可以体会到真实的大型大数据项目开发流程，学完此课程可以熟练掌握大数据技术，java web技术，docker虚拟化技术，分布式技术，缓存技术，linux等。

（一）项目总体需求分析

1.项目背景
在这个互联网爆发的时代，移动网络，移动设备逐渐成为人们的必备品，移动设备的用户已经达到几亿，可想而知，app必将流行起来，但是每一款app都要运营，达到盈利的目的，那么这个运营怎么做呢？要借助大数据的技术，准确分析用户的行为，这必将会有很大的需求。

2.项目需求
在这个互联网爆发的时代，移动网络，移动设备逐渐成为人们的必备品，移动设备的用户已经达到几亿，可想而知，app必将流行起来，但是每一款app都要运营，达到盈利的目的，那么这个运营怎么做呢，要借助大数据的技术，准确分析用户的行为，这必将会有很大的需求。急需一个系统帮助各大中小企业快速的分析app用户的行为，只需要接入提供的sdk，就可以轻松的了解用户的行为，享受大数据技术带来的时代变革。通过该产品可以了解到：app的应用趋势，app的渠道推广情况，用户留存情况，用户的行为分析，用户属性分析，应用错误分析，用户数据挖掘，并且需要实时去展示这些分析结果。

3.系统功能
可以查看该app的用户活跃度，每个时段的新增用户，app的终端使用分类情况，沉默用户，和忠诚用户的统计和查看等。

（二）项目架构设计及技术选型

1.项目整体架构设计
2.软件选型

（三）项目整体环境搭建

1.机器选型、节点规划等。
2.集群环境搭建

（四）相关项目内容

1.物理架构，逻辑架构
2.上报数据服务的设计与开发
3.实时处理数据的环境搭建和程序开发
4.日志收集系统设计
5.离线任务的设计和开发

课程大纲

第1节、大数据项目说明
第2节、大数据案例业务术语和使用
第3节、大数据案例andriod的sdk使用和友盟逻辑架构讲解
第4节、大数据案例项目管理工具maven讲解
第5节、大数据案例上报服务代码编写1
第6节、大数据案例上报服务代码编写2
第7节、大数据案例上报服务代码编写3
第8节、大数据案例消息传输讲解
第9节、大数据案例消息传输讲解以及整合代码编写
第10节、大数据案例消息整合上报服务代码编写
第11节、大数据案例流式计算框架选型之storm讲解
第12节、大数据案例流式计算框架选型之storm基础环境搭建
第13节、大数据案例流式计算框架选型之storm集群环境搭建
第14节、大数据案例流式计算框架选型之storm开发讲解1
第15节、大数据案例流式计算框架选型之storm开发讲解2
第16节、大数据案例流式计算框架之spark讲解
第17节、大数据案例流式计算框架之spark代码讲解1
第18节、大数据案例流式计算框架之spark代码讲解2
第19节、大数据案例流式计算框架选型说明以及友盟spark代码整合讲解
第20节、大数据案例spark业务代码讲解
第21节、大数据案例之kafka集群搭建
第22节、大数据案例之上报服务和spark streming实时计算服务联调测试
第23节、大数据案例存储引擎之Mongo环境搭建以及增删改查讲解
第24节、大数据案例存储引擎之mongo复杂的增删改查讲解
第25节、大数据案例存储引擎之mongo聚合以及索引和查询计划讲解
第26节、大数据案例存储引擎之mongo主从复制讲解
第27节、大数据案例存储引擎之mongo副本集和分片讲解
第28节、大数据案例存储引擎之mongo代码讲解1
第29节、大数据案例存储引擎之mongo代码讲解2
第30节、大数据案例sparkstreaming整合mongo代码编写讲解1
第31节、大数据案例sparkstreaming整合mongo代码编写讲解2
第32节、大数据案例sparkstreaming整合mongo代码编写讲解3
第33节、大数据案例sparkstreaming整合mongo代码编写讲解4
第34节、大数据案例sparkingstreaming整合mongo之mongo的linux集群搭建
第35节、大数据案例sparkingstreaming整合mongo之代码优化
第36节、大数据案例sparkingstreaming和mongo联调测试
第37节、大数据案例之flume讲解
第38节、大数据案例之flume补充讲解
第39节、大数据案例之hadoop ha集群搭建
第40节、大数据案例之flume以及hdfs进行业务整合
第41节、大数据案例之crontab定时任务讲解
第42节、大数据案例之hive环境搭建
第43节、大数据案例之hive进行业务整合
第44节、大数据案例之hive，crontab业务整合
第45节、大数据案例之hive，crontab业务整合补充
第46节、大数据案例之hive自定义函数解决复杂业务
第47节、大数据案例之hive自定义函数解决复杂业务补充
第48节、大数据案例之hbase集群环境搭建
第49节、大数据案例之app错误分析
第50节、大数据案例错误热点词定制分析
第51节、大数据案例hbase选型讲解以及hbase使用讲解
第52节、大数据案例之hbase、hive业务整合
第53节、大数据案例之hbase、hive业务整合补充
第54节、大数据案例之hbase、hive定时任务讲解
第55节、大数据案例hbase，hive动态参数实现自动分析当天的数据1
第56节、大数据案例hbase，hive动态参数实现自动分析当天的数据2