【DataX】windows下本地DataX同步hive到mysql,hive带Kerberos认证

windows下本地debug运行同步,hive到mysql,其中hive带Kerveros认证的方法如下。

直接同步会报错:

java.lang.RuntimeException: 
java.io.FileNotFoundException: java.io.FileNotFoundException: 
HADOOP_HOME and hadoop.home.dir are unset.

下载https://github.com/steveloughran/winutils
下载对应版本到本地,设置环境变量

【DataX】windows下本地DataX同步hive到mysql,hive带Kerberos认证_第1张图片
报错没有datax.py文件:
修改datax.py路径

报错Kerberos认证失败:
login failure for hive from keytab javax.security.auth.login.loginexception

解决方法:拷贝hive.keytab和krb5.conf文件到win系统
修改job文件中keytab与conf文件的路径为本地路径,这两个文件中有hosts修改过的地址,所以需要将linux下的hosts复制到win下的hosts。

你可能感兴趣的:(大数据,hive,mysql,hadoop,datax,离线同步)