大数据学习笔记——hadoop生态圈

学习hadoop入门阅读资料,google的三篇论文
《Google file system》:论述了怎样借助普通机器有效的存储海量的大数据;
《Google MapReduce》:论述了怎样快速计算海量的数据;

《Google BigTable》:论述了怎样实现海量数据的快速查询;

 

大数据技术本质上无非解决4个核心问题。
1、存储,海量的数据怎样有效的存储?主要包括hdfs、Kafka;
2、计算,海量的数据怎样快速计算?主要包括MapReduce、Spark、Flink等;
3、查询,海量数据怎样快速查询?主要为Nosql和Olap,Nosql主要包括Hbase、 Cassandra 等,其中olap包括kylin、impla等,
其中Nosql主要解决随机查询,Olap技术主要解决关联查询;

4、挖掘,海量数据怎样挖掘出隐藏的知识?也就是当前火热的机器学习和深度学习等技术,包括TensorFlow、caffe、mahout等;

 

从生态圈角度展示图:

大数据学习笔记——hadoop生态圈_第1张图片

 

 

从架构角度展示图:

大数据学习笔记——hadoop生态圈_第2张图片

你可能感兴趣的:(人工智能/AI)