一、Hive到底是什么
- 如何理解Hive
(1)从概念上来看
-> Hive是基于Hadoop的一个数据仓库工具;它是MapReduce的一个封装,底层就是MapReduce程序;
-> Hive可以将结构化的数据文件(eg:按照各字段分类的数据)映射成一张虚表,并提供类SQL查询功能;
-> 有了Hive后我们就不用再写麻烦的MapReduce程序了。
(2)从本质上来看
Hive就是把sql语句转化为MapReduce程序。
Hive没有服务端,它本质是Hadoop或者说是HDFS的一个客户端,对HDFS的数据和Meta store的元数据进行操作;
通常我们启动Hive是通过JDBC客户端操作的;
ps:对比hadoop中,通过命令start-dfs.sh启动HDFS服务端,然后通过hadoop fs -命令来启动HDFS客户端进行实际操作;
服务端是提供后台服务的,客户端是进行具体操作然后让服务端提供对应服务的。
- Hive中SQL-MapReduce原理图解
(1)事先将常用的SQL操作封装成MapReduce模板存放在Hive中;
(2)client依据实际需求写SQL语句,匹配对应的MapReduce模板,然后运行对应的MapReduce程序,
(3)生成相应的分析结果,返回给client。
所以说,Hive的本质是把SQL语句转化成了MapReduce程序。
- 为什么说Hive是基于Hadoop的呢?
(1)Hive处理的数据实际存放在HDFS中,默认路径/user/hive/warehouse;
(2)Hive分析数据的底层实现还是MapReduce程序;
(3)Hive调度资源时,用的是Yarn框架;
(4)在服务器中运行Hive之前需要群起HDFS和YARN。
二、Hive的优缺点
- 优点
(1)简单、只需要写SQL语句就行;
(2)Hive常用于数据分析,适合处理离线数据(静态数据);
(3)优势在于处理大数据;
(4)支持用户自定义函数;
ps:mysql适合处理数据的增删改查,适合处理实时数据(动态数据)
- 缺点
(1)Hive的表达有限,无法表达迭代式算法((第一个MapReducer程序的结果作为另一个MapReducer程序的输入,这种就是迭代式算法));
(2)数据挖掘不擅长(擅长数据挖掘的是Spark);
(3)Hive自动生成MapReduce作业,通常不够智能化,效率比较低;
(4)Hive调优一般比较困难,粒度较粗。
————————————————
版权声明:本文为CSDN博主「攻城狮Kevin」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/wx1528159409/java/article/details/84667658
hive的三种交互方式
第一种****交互方式:****Hive交互shell
cd /export/servers/hive-1.1.0-cdh5.14.0
bin/hive
查看所有的数据库
hive (default)> show databases;
创建一个数据库
hive (default)> create database myhive;
使用该数据库并创建数据库表
hive (default)> use myhive;
hive (myhive)> create table test(id int,name string);
第二种****交互方式:****Hive JDBC服务
就是启动一个服务
前台启动:
cd /export/servers/hive-1.1.0-cdh5.14.0
bin/hive --service hiveserver2
后台启动:
cd /export/servers/hive-1.1.0-cdh5.14.0
nohup bin/hive --service hiveserver2 2>&1 &
然后再通过beeline****连接hiveserver2:
bin/beeline
beeline> !connect jdbc:hive2://node03.hadoop.com:10000
第三种****交互方式:****Hive命令:
使用 –e 参数来直接执行hql的语句
bin/hive -e "use myhive;select * from test;"
使用 –f 参数通过指定文本文件来执行hql的语句
vim hive.sql
use myhive;select * from test;
bin/hive -f hive.sql