数据采集平台项目（四）

1. DataX中null值的输出

mysql经过dataX的传输后，默认会将null转换为空字符串""，而hive中默认的null值存储格式为\N.

解决方案：

1. 修改datax底层源码
2. 修改hive默认null值为''空字符串

2. Hive的安装

1. 解压安装，修改文件名为hive
2. 在lib目录下，将log4j-slf4j-impl-2.17.1.jar改名为log4j-slf4j-impl-2.17.1.jar.bak，防止jar包冲突
3. 配置Hive环境变量，使用hi命令测试能否出现命令提示
4. 拷贝mysql驱动包
5. 在conf目录下，添加vim hive-site.xml文件，配置jdbc连接，驱动，hive的数据存储路径，主机所在位置参数
6. 登录MySQL，创建元数据库，初始化元数据库。
7. 修改元数据库字符集，改为utf8，默认是拉丁文字符集。

alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;