大数据入门

好记星不如烂笔头，这里记录平时工作中用到的东西，不喜可以留言。

大数据

• 大数据最早我是16年左右听到的被吹嘘的很火，但具体是什么自己很模糊。
• 目前自己的理解是，大数据是在传统的IT项目中增加了一个部门（大数据部门），主要是处理海量的一些非结构形数据，进行分析提取有用的一点数据放回到结构性数据库中，供决策者进行决策。
• 大数据80%的使用场景都是让没有完成交易，促使客户完成，完成变现。
• 大数据最早是谷歌Google提出在2003到2006年陆续提出了GFS、MapReduce和Bigtable三篇技术论文。

目前主要有两个生态圈，Hadoop和Spark生态圈;
知识点：分布式文件系统HDFS、分布式资源调度YARN、分布式计算框架MapReduce、数据仓库Hive，最后就是Hadoop5项目。
大数据——Hadoop大数据实战开发视频课程【李兴华】
大数据——Michael_PK 慕课网讲师

特点4V:数据量大（Volume）、多样性，复杂性（Variety）、基于高度分析的新价值（Value）、速度（Velocity)）
误解：大数据不一定数据量一定大，但是一定价值大，通过复杂处理获取有价值数据。

• Flume 分布式日志收集框架
• Storm流处理
• Hive大数据数据仓库，DDL及DML操作，离线数据库
• YARN资源调度框架
• MapReduce分布式计算框架，架构、编程模型
• HDFS分布式文件系统：架构、部署、命令行操作，API操作
• Spart大数据离线处理
• Spark Streaming、Flink以及Storm，数据库离线处理三选一。
  实时分析系统以及hbase、hive和impala的区别

离线数据分析

离线数据分析，从数据库中取数据，是离线分析。

实时数据分析

实时数据分析，直接从数据源头实时取到进行分析。

Spart Streaming、HBase