大数据实验六——Hive

实验步骤:

1、安装MySQL

①官网下载mysql-server(yum安装)

wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

若wget不可用,下载安装wget:yum -y install wget

②解压rpm -ivh mysql-community-release-el7-5.noarch.rpm

③安装yum install mysql-community-server

④重启mysql服务:service mysqld restart (以后开机不需启动mysql)

⑤进入mysql:mysql -u root

为root用户设置密码root:mysql> set password for ‘root’@‘localhost’ =password(‘root’);

以下步骤可选:

配置文件/etc/my.cnf加上编码配置:[mysql] default-character-set =utf8

远程连接设置:

把在所有数据库的所有表的所有权限赋值给位于所有IP地址的root用户:

mysql> grant all privileges on . to root@’ %‘identified by ‘root’;

mysql>flush privileges; 刷新权限

如果是新用户而不是root,则要先新建用户:

mysql>create user ‘username’@’ %’ identified by ‘password’;

Hive安装与配置

①下载压缩包

官网下载地址:http://mirror.bit.edu.cn/apache/hive/

选择apache-hive-2.3.4-bin.tar.gz,在Windows里面下载。

②将压缩包从Windows传输到Linux当前目录下¬¬

SecureCRT 【File】→【Connect SFTP Session】开启sftp操作

③解压

解压安装到指定目录下/opt/module(/opt是系统自带目录,之下的/module是自己创建的)

修改解压目录名为hive。

④修改环境变量

修改etc/profile文件,添加HIVE_HOME安装路径。

Source命令更新etc/profile文件,使其生效。

⑤配置hive-env.sh

进入/opt/module/hive/conf目录,修改hive-env.sh.template的文件名为hive-env.sh。(可以使用cp或者mv命令)

cp hive-env.sh.template hive-env.sh

修改Hadoop的安装路径

HADOOP_HOME=/opt/module /hadoop-2.7.3

修改Hive的conf目录的路径

export HIVE_CONF_DIR=/opt/module/hive/conf

⑥配置hive-site.xml

进入/opt/module/hive/conf目录,修改default.xml.template的文件名为hive-site.xml。(可以使用cp或者mv命令)

cp hive- default.xml.template hive-site.xml

在最后添加以下属性:

   javax.jdo.option.ConnectionURL         

jdbc:mysql://bigdata131:3306/hivedb?createDatabaseIfNotExist=true

JDBC connect string for a JDBC metastore

    javax.jdo.option.ConnectionDriverName

    com.mysql.jdbc.Driver

    Driver class name for a JDBC metastore

javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword root password to use against metastore database

注:

查看Hive建库、建表默认的hdfs目录为/user/hive/warehouse

hive.metastore.warehouse.dir

/user/hive/warehouse

location of default database for the warehouse

3、MySQL Connector/J安装

①下载压缩包

官网下载地址:http://ftp.ntu.edu.tw/MySQL/Downloads/Connector-J/

mysql-connector-java-5.1.47.tar.gz

②将压缩包从Windows传输到Linux当前目录下¬¬

SecureCRT 【File】→【Connect SFTP Session】开启sftp操作

③解压

解压到指定目录下/opt/module(/opt是系统自带目录,之下的/module是自己创建的)

④拷贝驱动包

将驱动包mysql-connector-java-5.1.47-bin.jar复制到/opt/module/hive/lib目录中。

启动hive

①启动Hadoop:start-all.sh

②初始化Metastore架构:schematool -dbType mysql -initSchema

③启动Hive:hive

hive> 进入hive shell

④创建/删除/修改/查看 数据库、表、视图,向表中装载数据,查询数据等等。

你可能感兴趣的:(大数据实验六——Hive)