20180614早课记录31-Sqoop

1.来来来谈谈你们自认为零基础班hive要掌握哪些东西?

编译 搭建 DDL DML 动态分区 静态分区 函数

2.hive的元数据我们存储在哪?数据存储在哪?

MySQL HDFS

3.udf函数临时生效和永久生效会不会?

还没具体做

4.sqoop是mr job?

是mr job

5.我们常用的是sqoop1,那么对比sqoop2,这两者区别

两个不同版本,完全不兼容

6.sqoop导入,可以根据SQL导吗?

可以

7.(拓展题)sqoop如何全量,如何每天增量导数据到hive(这块你们去调研看看 增量)

还需调研

8.提醒各位: sqoop在mysql导入到hive,在生产上,由于数据不可能那么像我们课堂规范,比如数据含有换行符这种的,那么导入到hive是不是会出问题?(默认\t 分割,\n换行符)那么你们觉得我们该怎么办?(拓展题,自己搜搜看看)

不规范可以先清洗

你可能感兴趣的:(20180614早课记录31-Sqoop)