大数据生态圈的理解

大数据生态圈的理解_第1张图片

HDFS是整个大数据架构的底层,它提供了一个文件系统

Spark(Spark core(RDD)) 和 MapReduce 是一个层级,是一种操作计算框架,MapReduce相当于一个别人写好的 java程序,它并不需要在服务器上启动相应的服务,甚至可以在本地run

Hive => MapReduce   Hive 操作MapReduce(底层是 MapReduce)

Spark SQL=> Spark core(RDD)    Spark SQL 操作RDD(底层是 RDD)

大数据生态圈的理解_第2张图片

Hive 和Scala、Java一个层级,相当于用Scala编写操作 MapReduce、Spark(Spark core(RDD)),它是一种操作计算框架的API,它把HQL翻译成MapReduce (如下图所示,它是执行一个 select count(1) from helloworld )

大数据生态圈的理解_第3张图片

用以下三个HQL创建一个表,数据来自 helloworld.txt 

create database test_db;
create table helloworld(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; 
load data local inpath '/root/data/helloworld.txt' overwrite into table helloworld;

可以看到实质就是把 helloworld.txt存入 /user/hive/warehouse/test_db.db/helloworld 里面,而且并不会改变原有的文件,只是会存储文件相应的元数据(metadata)

Impala是基于Hive的大数据实时分析查询引擎,直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析

大数据生态圈的理解_第4张图片

你可能感兴趣的:(big,data)