mac安装sqoop

在hadoop 3.2.1和hive 3.1.2的基础上,配置sqoop。
下载
brew install sqoop #这个下载遇到了错误
http://www-eu.apache.org/dist/sqoop/1.4.7/ 链接下载
mac安装sqoop_第1张图片
这个hadoop-2.6.0不知道与我本地安装的hadoop3.2.1有咩有啥冲突哇。
上面的连接太慢了,可以用这个:http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

配置变量
mac安装sqoop_第2张图片
验证

sqoop version

mac安装sqoop_第3张图片
添加hadoop和hive的路径信息
进入/usr/local/Cellar/sqoop-1.4.7.bin__hadoop-2.6.0/conf下面:

cp sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh 增加如下所示的内容
mac安装sqoop_第4张图片
增加mysql的jar包
mysql-connector-java-8.0.17.jar 即配置hive时放到其lib中的jar包,放到/usr/local/Cellar/sqoop-1.4.7.bin__hadoop-2.6.0/lib目录下面。
到目前位置还是挺顺利的,那就看看能不能连到mysql吧

sqoop list-databases --connect jdbc:mysql://localhost --username root --password root 

额,报错了~

Caused by: java.lang.ClassNotFoundException: org.apache.commons.lang.StringUtils

mac安装sqoop_第5张图片
从万能的网上搜到需要commons-lang-2.6-bin.zip,下面的链接可以下载

http://mirrors.tuna.tsinghua.edu.cn/apache//commons/lang/binaries/commons-lang-2.6-bin.zip

解压后,把commons-lang-2.6.jar放到/usr/local/Cellar/sqoop-1.4.7.bin__hadoop-2.6.0/lib目录下面
重新运行,可以了。
mac安装sqoop_第6张图片
至此,算是配置成功了~

你可能感兴趣的:(mac安装sqoop)