大数据可视化——Sqoop与Hive的安装详解
Sqoop安装教程
下载Sqoop
点这里=> 这是Sqoop官网下载路径
本次Sqoop使用的是1.4.2的版本
下载sqoop-xxx.bin__hadoop.tar.gz 版本自选
安装与配置Sqoop
下载完成后，将压缩包通过ssh连接工具（此处使用的是FinalShell连接工具）上传到Linux
将压缩包上传完成后，使用tar命令解压到合适路径（此处选择的解压路径为/usr/local）
解压完成后进入sqoop路径下的conf文件中（此处为cd /usr/local/sqoop-1.4.2.bin_had/conf）
通过示例文件创建并配置配置文件
cp sqoop-env-template.sh sqoop-env.sh
编辑配置文件
export HADOOP_COMMON_HOME=/usr/local/hadoop-2.7.7
export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.7.7
export HIVE_HOME=/usr/local/apache-hive-1.2.2-bin
将mysql的驱动包mysql-connector-java-5.1.46-bin.jar复制到Sqoop安装目录下的lib文件夹中(在mysql中可以找到的)
配置环境变量
#sqoop
export SQOOP_HOME=/usr/local/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH=$PATH:$SQOOP_HOME/bin
source ~/.bashrc
配置完成后检查是否Sqoop成功
sqoop version
成功配置Sqoop显示版本号后，去自己的本机或者服务器启动本地Mysql服务，要事先检查Mysql是否可以远程连接
启动Mysql服务后，使用Sqoop查看本地数据库
sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root --password 123456
``
Hive安装
Hive下载与全局路径配置
点这里=> 官方下载路径
同理下载tar.gz压缩包，下载完成后上传到Linux上并解压，此处的路径也是/usr/local
使用tar命令解压
配置/etc/profile配置文件，配置hive全局路径
重启配置文件
Hive配置
进入hive安装目录的conf文件
配置hive-env.sh
将hive-env模板文件拷贝进行自定义配置
cp hive-env.sh.template hive-env.sh
配置这两个路径，要根据自己本机安装路径来
配置hive-site.xml
同理cp hive-site.xml.template hive-site.xml
配置hive-site.xml
<configuration>
<property>
<name>javax.jdo.option.ConnectionURLname>
//所连接的MySQL数据库实例，这里的yurrize要改成自己的数据库ip地址
<value>jdbc:mysql://yurrize:3306/hive?createDatabaseIfNotExist=truevalue>
property>
<property>
<name>javax.jdo.option.ConnectionDriverNamename>
//连接的MySQL数据库驱动
<value>com.mysql.jdbc.Drivervalue>
property>
<property>
<name>javax.jdo.option.ConnectionUserNamename>
//连接的MySQL数据库用户名
<value>yurrizevalue>
property>
<property>
<name>javax.jdo.option.ConnectionPasswordname>
//连接的MySQL数据库密码
<value>密码value>
property>
configuration>
设置hive日志
cd conf
cp hive-log4j2.properties.template hive-log4j2.properties
vim hive-log4j2.properties
修改以下内容：
property.hive.log.dir = /usr/local/apache-hive-2.3.9-bin/log
本地数据库连接成功
Hive安装常见问题
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
遇到此类型报错，请再次检查hive-site.xml数据库连接信息以及自己的ip地址