16-Hive快速入门与一个月总结

1.Linux

2.MySQL

3.Hadoop

4.Hadoop常用操作

问题:使用MapReduce实现join、mapjoin的功能？

===>非常繁琐

        wordcount    MR是非常麻烦的

5.Hive产生背景

6.Hive

7.Hive阶段版本

8.HIVE环境搭建

若泽数据-J哥：hadoop-2.8.1 Apache Hadoop

生产环境建议使用： CDH HDP

若泽数据-若泽：CDH

统一软件安装包下载路径：http://archive.cloudera.com/cdh5/cdh/5/

选择统一的cdh5.7.0尾号

hadoop-2.6.0-cdh5.7.0.tar.gz

hive-1.1.0-cdh5.7.0.tar.gz

机器目录结构相关: hadoop/hadoop

hadoop000(192.168.199.151)

hadoop001

hadoop002

/home/hadoop/

software  存放安装软件

data 存放测试数据

source 存放源代码 

lib  存放相关开发的jar

app  软件安装目录

tmp 存放HDFS/Kafka/ZK数据目录

maven_repo  maven本地仓库

shell  存放上课相关的脚本

mysql：root/root

下载hive：wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz

解压: tar -zxvf ....... -C ~/app/

配置环境变量: ~/.bash_profile

export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0

export PATH=$HIVE_HOME/bin:$PATH

拷贝驱动：cp mysqldriver $HIVE_HOME/lib

配置文件修改

cp hive-env.sh.template hive-env.sh

HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

hive-site.xml

Hive表创建报错，具体日志信息如下：

com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes