大数据入门

好记星不如烂笔头,这里记录平时工作中用到的东西,不喜可以留言。

大数据

  • 大数据最早我是16年左右听到的被吹嘘的很火,但具体是什么自己很模糊。
  • 目前自己的理解是,大数据是在传统的IT项目中增加了一个部门(大数据部门),主要是处理海量的一些非结构形数据,进行分析提取有用的一点数据放回到结构性数据库中,供决策者进行决策。
  • 大数据80%的使用场景都是让没有完成交易,促使客户完成,完成变现。
  • 大数据最早是谷歌Google提出在2003到2006年陆续提出了GFS、MapReduce和Bigtable三篇技术论文。

目前主要有两个生态圈,Hadoop和Spark生态圈;
知识点:分布式文件系统HDFS、分布式资源调度YARN、分布式计算框架MapReduce、数据仓库Hive,最后就是Hadoop5项目。
大数据——Hadoop大数据实战开发视频课程【李兴华】
大数据——Michael_PK 慕课网讲师

特点4V:数据量大(Volume)、多样性,复杂性(Variety)、基于高度分析的新价值(Value)、速度(Velocity))
误解:大数据不一定数据量一定大,但是一定价值大,通过复杂处理获取有价值数据。

  • Flume 分布式日志收集框架
  • Storm流处理
  • Hive大数据数据仓库,DDL及DML操作,离线数据库
  • YARN资源调度框架
  • MapReduce分布式计算框架,架构、编程模型
  • HDFS分布式文件系统:架构、部署、命令行操作,API操作
  • Spart大数据离线处理
  • Spark StreamingFlink以及Storm,数据库离线处理三选一。
    实时分析系统以及hbase、hive和impala的区别

离线数据分析

离线数据分析,从数据库中取数据,是离线分析。

实时数据分析

实时数据分析,直接从数据源头实时取到进行分析。

Spart StreamingHBase

你可能感兴趣的:(javaweb)