hadoop生态圈(HBase、HDFS、 Pig、Hive、Sqoop)——小白入门笔记

Hadoop生态圈

 

上图为学习视频中一张Hadoop生态圈截图

HDFS：分布式文件系统，底层数据存储

Hbase：分布式列式数据库，适用实时数据分析，属于NoSql数据库

Hive：数据库仓库工具，适用于离线数据分析，可以用于计算趋势或网站日志

Pig：数据流语言，用于简化Hadoop任务，对MapReduce进行更高层次的封装，执行效率快，适用于实时分析

Sqoop：用于传统数据库与HBase数据转移存储，即利用Sqoop可以将传统数据库上的数据转移到Hbase上，反之亦可。

Mahout：方便机器学习，数据挖掘，提供很多可扩展算法

Yan：协调资源分配

Flume：可以进行海量数据日志采集，聚合、传输系统

注：此文章为读书与网络视频得出，入门小白没有深刻理解，只是一些概念

        笔记类

以下为个人理解时用到的博客

Hadoop相关理解

https://blog.csdn.net/zx8167107/article/details/79265537 

https://blog.csdn.net/qq_26437925/article/details/78467216

https://blog.csdn.net/z69183787/article/details/46403849

视频课地址

https://www.icourse163.org/learn/XMU-1002335004?tid=1002787005#/learn/custom?id=1002946089

列式数据库与横式数据库

https://blog.csdn.net/qq_35952082/article/details/68490536