hive手工安装配置3.1.1

hive 安装过程：

1.修改主机名
hostnamectl set-hostname master


2，做IP和主机名的映射

vim /etc/hosts

192.168.31.27 master


3，关闭防火墙

systemctl stop firewalld.service


3，时间设置
查看当前时间
输入:

date
查看服务器时间是否一致，若不一致则更改
更改时间命令

date -s ‘MMDDhhmmYYYY.ss’





三、Hadoop安装和配置
Hadoop的具体配置在大数据学习系列之一 ----- Hadoop环境搭建(单机) 中介绍得很详细了。所以本文就大体介绍一下。
注:具体配置以自己的为准。

1，环境变量设置
编辑 /etc/profile 文件 :

vim /etc/profile
配置文件:
 
export JAVA_HOME=/opt/hadoop/jdk1.8.0_191
export HADOOP_HOME=/opt/hadoop/hadoop-3.1.1
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH


cd /opt/hadoop/hadoop-3.1.1/etc/hadoop/

vim core-site.xml




        hadoop.tmp.dir
        /root/hadoop/tmp
        Abase for other temporary directories.
   
   
        fs.default.name
        hdfs://master:9000
   




vim hadoop-env.sh


export JAVA_HOME=/opt/hadoop/jdk1.8.0_191
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"



vim hdfs-site.xml




   dfs.name.dir
   /root/hadoop/dfs/name
   Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.


   dfs.data.dir
   /root/hadoop/dfs/data
   Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.


   dfs.replication
   2


      dfs.permissions
      false
      need not permissions






vim mapred-site.xml



    mapred.job.tracker
    master:9001


      mapred.local.dir
       /root/hadoop/var


       mapreduce.framework.name
       yarn




3，Hadoop启动
启动之前需要先格式化
切换到/home/hadoop/hadoop-3.1.1/bin目录下
输入:
cd /opt/hadoop/hadoop-3.1.1/bin

./hadoop  namenode  -format
格式化成功后，再切换到/home/hadoop/hadoop-3.1.1/sbin目录下
启动hdfs和yarn
输入:
cd /opt/hadoop/hadoop-3.1.1/sbin


解决1： 
是因为缺少用户定义造成的，所以分别编辑开始和关闭脚本 
$ vim sbin/start-dfs.sh 
$ vim sbin/stop-dfs.sh 
在顶部空白处添加内容： 
HDFS_DATANODE_USER=root 
HADOOP_SECURE_DN_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root 
  

start-dfs.sh

//这里的启动其实是有问题的


1、查看日志信息，找寻报错原因；

$ export HADOOP_ROOT_LOGGER=DEBUG,console    # 输出日志

$ hadoop fs ls /


java.lang.UnsatisfiedLinkError: no hadoop in java.library.path

no hadoop in java.library.path


从日志中可以看出hadoop库不在java.library.path所配置的目录下，应该是java.library.path配置的路径有问题。在hadoop-env.sh中重新配置：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"

执行start-dfs.sh，告警信息不再显示。经测试，其实只需export HADOOP_OPTS即可解决问题。
 


hadoop checknative


 Cannot load libcrypto.so (libcrypto.so: 无法打开共享对象文件: 没有那个文件或目录)!

ln -s libcrypto.so.1.0.2k libcrypto.so

问题解决完了


$ vim sbin/start-yarn.sh 
$ vim sbin/stop-yarn.sh 

YARN_RESOURCEMANAGER_USER=root 
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root




2.打通SSH，设置ssh无密码登陆（所有节点）
在主节点上执行ssh-keygen -t rsa一路回车，生成无密码的密钥对。
 
将公钥添加到认证文件中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys，并设置authorized_keys的访问权限：chmod 600 ~/.ssh/authorized_keys。
 
ssh-keygen -t rsa
 
 
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
 
 
 
 
 
scp文件到所有datenode节点：
 
scp ~/.ssh/authorized_keys root@n2:~/.ssh/
scp ~/.ssh/authorized_keys root@n3:~/.ssh/
测试：在主节点上ssh n2，正常情况下，不需要密码就能直接登陆进去了。   注意：另外两台机器也要执行下ssh-keygen -t rsa  不然提示没有那个目录
  

  systemctl stop firewalld.service 
 
start-yarn.sh
启动成功后，输入jsp查看是否启动成功
在浏览器输入 ip+8088 和ip +50070 界面查看是否能访问
能正确访问则启动成功



http://192.168.31.27:8088/cluster



安装mysql：


rpm -qa|grep mariadb 
 
 
rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64
rpm -e --nodeps mariadb-server-5.5.56-2.el7.x86_64
rpm -e --nodeps mariadb-5.5.56-2.el7.x86_64
 
 
tar -xvf mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar
 
 
rpm -ivh mysql-community-common-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.24-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.24-1.el7.x86_64.rpm
service mysqld start
chkconfig mysqld on
rpm -ivh mysql-community-libs-compat-5.7.24-1.el7.x86_64.rpm
 
 
 
 
rpm -ivh mysql-community-devel-5.7.24-1.el7.x86_64.rpm
 
rpm -ivh mysql-community-embedded-5.7.24-1.el7.x86_64.rpm
 
rpm -ivh mysql-community-embedded-compat-5.7.24-1.el7.x86_64.rpm
 
rpm -ivh mysql-community-embedded-devel-5.7.24-1.el7.x86_64.rpm
 
rpm -ivh mysql-community-minimal-debuginfo-5.7.24-1.el7.x86_64.rpm
 
rpm -ivh mysql-community-server-minimal-5.7.24-1.el7.x86_64.rpm
 
rpm -ivh mysql-community-test-5.7.24-1.el7.x86_64.rpm
 
 
 
 
 
启动mysql
      查看mysql是否启动
	service mysqld status
	
	# 启动mysql
	service mysqld start
	
	# 停止mysql
	service mysqld stop
	
	# 重启mysql
	service mysqld restart
 
开机后启动服务器
chkconfig mysqld on
 
 
 
 
1、关闭firewall：
 
#停止firewall
 #禁止firewall开机启动
 
systemctl stop firewalld.service 
 
systemctl disable firewalld.service
 
 
关闭防火墙
service iptables stop （临时关闭）  
chkconfig iptables off （重启后生效）
 
 
查看临时密码
 
  登陆mysql，输入上面的临时密码
 
 
  grep password /var/log/mysqld.log
  mysql -p
 
 
  重置密码：
 
  set password = password("123456");
 
  use mysql;
 
  GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
 
  flush privileges;  
  







五、Hive环境安装和配置
1，文件准备
将下载下来的Hive 的配置文件进行解压
在linux上输入:

 tar -xvf  apache-hive-3.1.1-bin.tar.gz

mkdir /opt/hive
mv apache-hive-3.1.1-bin /opt/hive/hive3.1

 
2，环境配置
编辑 /etc/profile 文件
输入:

vim /etc/profile
 

export HIVE_HOME=/opt/hive/hive3.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH
 

使配置生效
source  /etc/profile

3，配置更改
5.3.1新建文件夹
在修改配置文件之前，需要先在root目录下建立一些文件夹。

mkdir /root/hive
mkdir /root/hive/warehouse






新建完该文件之后，需要让hadoop新建/root/hive/warehouse 和 /root/hive/ 目录。
执行命令：

$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/
$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/warehouse
给刚才新建的目录赋予读写权限，执行命令：

$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/
$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/warehouse 
检查这两个目录是否成功创建
输入:

$HADOOP_HOME/bin/hadoop fs -ls /root/
$HADOOP_HOME/bin/hadoop fs -ls /root/hive/
这里写图片描述

可以看到已经成功创建

5.3.2 修改hive-site.xml
切换到 /opt/hive/hive3.1/conf 目录下
将hive-default.xml.template 拷贝一份，并重命名为hive-site.xml
然后编辑hive-site.xml文件



cd /opt/hive/hive3.1/conf
cp hive-default.xml.template hive-site.xml
vim hive-site.xml
编辑hive-site.xml文件，在 中添加:

  
    
    hive.metastore.warehouse.dir  
    /root/hive/warehouse  
    


    hive.exec.scratchdir
    /root/hive
  

    
    
    hive.metastore.uris  
      
    


 
        javax.jdo.option.ConnectionURL
        jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true
    

    
        javax.jdo.option.ConnectionDriverName
        com.mysql.jdbc.Driver
    
   
    
        javax.jdo.option.ConnectionUserName
        root
    
    
    
        javax.jdo.option.ConnectionPassword
        123456
    
    
   hive.metastore.schema.verification
   false
    
    
 
然后将配置文件中所有的

${system:java.io.tmpdir}
更改为 /opt/hive/tmp (如果没有该文件则创建)，
并将此文件夹赋予读写权限，将
${system:user.name}
更改为 root

例如:
更改之前的:
这里写图片描述
更改之后:
这里写图片描述

配置图:
这里写图片描述

注: 由于hive-site.xml 文件中的配置过多，可以通过FTP将它下载下来进行编辑。也可以直接配置自己所需的，其他的可以删除。 MySQL的连接地址中的master是主机的别名，可以换成ip。


[root@master ~]# mkdir -p /root/hive/repl/
[root@master ~]# mkdir -p /root/hive/cmroot/
[root@master ~]# mkdir -p /root/hive/repl/functions/
[root@master ~]#




5.3.3 修改 hive-env.sh
修改hive-env.sh 文件，没有就复制 hive-env.sh.template ，并重命名为hive-env.sh
这里写图片描述
在这个配置文件中添加













export  HADOOP_HOME=/opt/hadoop/hadoop-3.1.1
export  HIVE_CONF_DIR=/opt/hive/hive3.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive3.1/lib
这里写图片描述

5.3.4 添加 数据驱动包
由于Hive 默认自带的数据库是使用mysql，所以这块就是用mysql
将mysql 的驱动包 上传到 /opt/hive/hive3.1/lib

这里写图片描述

六、Hive Shell 测试
在成功启动Hadoop之后
切换到Hive目录下
输入:

cd /opt/hive/hive3.1/bin
首先初始化数据库
初始化的时候注意要将mysql启动
输入:

先手工把数据库创建出来
create database metastore_db DEFAULT CHARSET utf8 COLLATE utf8_general_ci;



schematool  -initSchema -dbType mysql 
这里写图片描述

执行成功之后，可以看到hive数据库和一堆表已经创建成功了

这里写图片描述

切换到  
cd /opt/hive/hive3.1/bin
进入hive (确保hadoop以及成功启动)
输入:

hive
这里写图片描述

进入hive 之后
做一些简单的操作
新建一个库，然后在建一张表
基本操作和普通的关系型数据库差不多
创建库:

create database db_hiveTest;
创建表:

create  table  test(id int,name string)  row  format  delimited  fields   terminated  by  '\t';
这里写图片描述

说明: terminated by '\t' 表示文本分隔符要使用Tab，行与行直接不能有空格。

加载数据
新打开一个窗口
因为hive 不支持写，所以添加数据使用load加载文本获取。
新建一个文本

touch  /opt/hive/student.txt
编辑该文本添加数据
输入:

vim /opt/hive/student.txt
添加数据:
中间的空格符使用Tab建

1001    zhangsan
1002    lisi
1003    wangwu
这里写图片描述
说明: 文本可以在Windows上面新建，然后通过ftp上传到linux中，需要注意文本的格式为unix 格式。

切换到hive shell
加载数据
输入:

load data local inpath '/root/student.txt'  into table test;
然后查询该数据
输入：

select * from db_hiveTest.student;
 


启动远程访问：

hive --service metastore & 

hive --service hiveserver2 &


hadoop@bdi:~$ hive --service hiveserver2 >/dev/null &
远程服务对外的端口是10000，启动成功后，使用netstat命令验证：
hadoop@bdi:~$ netstat -antpl|grep 10000


如果再启动的过程中报错，可以使用下面的命令进行调试：

hadoop@bdi:~$ hive --hiveconf hive.root.logger=DEBUG,console




/opt/hadoop/hadoop-3.1.1/etc/hadoop


解决 ：在hdfs 的配置文件core-site.xml中加入如下配置，root 为位置填入  User:*  ，etc   hadoop.proxyuser.eamon.hosts




  hadoop.proxyuser.root.hosts
  *
 
 
  hadoop.proxyuser.root.groups
  *




还需要给目录写权限
cd /opt/hadoop/hadoop-3.1.1/bin

hadoop fs -chmod -R 777 /tmp

参考了：

https://www.cnblogs.com/xuwujing/p/8045821.html

 

启动用到命令如下：

 查看mysql是否启动
	service mysqld status
	
	# 启动mysql
	service mysqld start
	



cd /opt/hadoop/hadoop-3.1.1/sbin
 

./start-dfs.sh


./start-yarn.sh 


cd /opt/hive/hive3.1/bin


hive --service metastore & 

hive --service hiveserver2 &


beeline -u jdbc:hive2://127.0.0.1:10000

驱动包使用cdh的