小新用的工具:
VMware 、CtenOS6.5、Xshell、Xftp(这里是小蜡笔自学时用的软件,不是必要的,可以根据自己喜爱选择其他软件如open suse等。)
hive的下载地址:
http://mirror.bit.edu.cn/apache/hive/
MySQL的下载地址(亲们可选择对应的Linux版本下载哦):
https://www.mysql.com/downloads/
1、查看mysql的依赖
rpm -qa | grep mysql
2、删除mysql的依赖
rpm -e --nodeps ‘rpm -qa | grep mysql‘
或者
rpm -e --nodeps ‘rpm -qa | grep MySQL’
3、离线安装mysql
小新是通过Xftp将安装包传入到虚拟机 /usr/soft/mysql/ 目录下
然后在/usr/soft/mysql/ 目录下安装server 和client
rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm
rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm
4、启动mysql服务
service mysql start
5、加入到开机启动项
chkconfig mysql on
6.重启虚拟机后执行mysql,进入到MySQL,将密码修改成固定密码,并且设置可以从外部连接本地数据库
Linux重启 命令:reboot
进入到MySQL
将密码修改成固定密码(小蜡笔建议:学习时不用搞太麻烦的密码哦!容易忘记!)
mysql>set password=password('123456');
设置可以从外部连接本地数据库
mysql>grant all on *.* to root@'master' identified by '123456';
7、访问mysql服务并修改权限(MySql中user表中主机配置只要是root用户+密码,在任何主机上都能登录MySQL数据库。)
进入mysql: mysql -uroot -p
显示数据库: show databases;
使用mysql数据库: use mysql;
展示mysql数据库中的所有表: show tables;
展示user表的结构: desc user;
查询user表: select User, Host, Password from user;
修改user表,把Host表内容修改为%:
update user set host='%' where host='localhost';
刷新: flush privileges;
退出: quit;
注意: 前提是:hadoop必须已经启动了***
1、解压hive的安装包
同样的小新将安装包传到了/usr/soft/hive/目录下了,在此目录下解压
tar -zxvf apache-hive-1.2.1-bin.tar.gz
修改下目录名称
mv apache-hive-1.2.1-bin hive-1.2.1
2、备份配置文件
注:在安装hive的包的conf文件夹下
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
3、配置hive的配置文件(因为hive的配置文件比较大,在linux中查找某项配置比较难,可以先将hive-site.xml文件复制到windows用文本编辑打开,然后ctrl+f查关键字修改,修改之后再放回到hive 的conf目录)
注:小蜡笔用的是Notepad++链接的虚拟机来修改文件的,该软件可以搜索第二步中每个name ,很方便简捷,可以避免不必要的错误哦!
Notepad++连接虚拟机步骤:
1)、修改hive-env.sh
加入三行内容(大家根据自己的实际安装目录情况来添加)
HADOOP_HOME=/usr/soft/hadoop/hadoop-2.6.5
JAVA_HOME=/usr/soft/java/jdk1.8.0_171
HIVE_HOME=/usr/soft/hive/hive-1.2.1
2)、修改hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURLname>
<! 小新这里主机名是master大家根据自己的实际安装情况来修改>
<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=truevalue>
property>
<property>
<name>javax.jdo.option.ConnectionDriverNamename>
<value>com.mysql.jdbc.Drivervalue>
property>
<property>
<name>javax.jdo.option.ConnectionUserNamename>
<! 这里是mysql的链接登录用户名,大家根据自己的实际安装情况来修改>
<value>rootvalue>
property>
<property>
<name>javax.jdo.option.ConnectionPasswordname>
<! 这里是mysql的链接登录用户名的登录密码,大家根据自己的实际安装情况来修改>
<value>123456value>
property>
<property>
<name>hive.querylog.locationname>
<value>/usr/soft/hive/hive-1.2.1/tmpvalue>
property>
<property>
<name>hive.exec.local.scratchdirname>
<value>/usr/soft/hive/hive-1.2.1/tmpvalue>
property>
<property>
<name>hive.downloaded.resources.dirname>
<value>/usr/soft/hive/hive-1.2.1/tmpvalue>
property>
4、拷贝mysql驱动到$HIVE_HOME/lib目录下
cp 自己的MySQL驱动器的(mysql-connector-java-5.1.17.jar) 安装的hive的安装目录的lib文件夹下
小蜡笔的是:
cp /usr/soft/mysql/mysql-connector-java-5.1.17.jar /usr/soft/hive/hive 1.2.1/lib/
5、将hadoop的jline-0.9.94.jar的jar替换成hive的版本。(大家根据自己的实际安装目录情况来修改)
小蜡笔的hive的 jline-2.12.jar 位置在 /usr/soft/hive//hive-1.2.1/lib/jline-2.12.jar
将Hadoop的删除
rm -rf /usr/soft/hadoop/hadoop-2.6.0/share/hadoop/yarn/lib/jline-0.9.94.jar
然后将hive的jar拷过去hadoop下:
命令格式:
cp /安装目录/hive-1.2.1/lib/jline-2.12.jar /安装目录/hadoop-2.6.0/share/hadoop/yarn/lib/