9（14）7.3Sqoop导出脚本14

7.3Sqoop导出脚本
1）编写Sqoop导出脚本
在/home/atguigu/bin目录下创建脚本sqoop_export.sh
[atguigu@hadoop102 bin]$ vim sqoop_export.sh
在脚本中填写如下内容
#!/bin/bash

db_name=gmall

export_data() {
/opt/module/sqoop/bin/sqoop export
–connect “jdbc:mysql://hadoop102:3306/${db_name}?useUnicode=true&characterEncoding=utf-8”
–username root
–password 000000
–table KaTeX parse error: Undefined control sequence: \ at position 3: 1 \̲ ̲--num-mappers 1…db_name/ads/$1
–input-fields-terminated-by “\t”
–update-mode allowinsert
–update-key “tm_id,category1_id,stat_mn,stat_date”
–input-null-string ‘\N’
–input-null-non-string ‘\N’
}

case $$\begin{gathered} 1in"ad{s}_u{v}_{c}ount")expor{t}_{d}ata"ad{s}_u{v}_{c}ount";;"ad{s}_{u}se{r}_{a}ctio{n}_{c}onver{t}_{d}ay")expor{t}_{d}ata"ad{s}_{u}se{r}_{a}ctio{n}_{c}onver{t}_{d}ay";;"ad{s}_{g}m{v}_{s}u{m}_{d}ay")expor{t}_{d}ata"ad{s}_{g}m{v}_{s}u{m}_{d}ay";;"all")expor{t}_{d}ata"ad{s}_u{v}_{c}ount"expor{t}_{d}ata"ad{s}_{u}se{r}_{a}ctio{n}_{c}onver{t}_{d}ay"expor{t}_{d}ata"ad{s}_{g}m{v}_{s}u{m}_{d}ay";;esac关于导出update还是insert的问题Ø--update-mode：updateonly只更新，无法插入新数据allowinsert允许新增Ø--update-key：允许更新的情况下，指定哪些字段匹配视为同一条数据，进行更新而不增加。多个字段用逗号分隔。Ø--input-null-string和--input-null-non-string：分别表示，将字符串列和非字符串列的空串和“null”转换{成}^{\prime } \\ {N}^{\prime }。官网地址：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.htmlSqoopwillbydefaultimportNULLvaluesasstringnull.Hiveishoweverusingstring\mathbb{N}todenoteNULLvaluesandthereforepredicatesdealingwithNULL(likeISNULL)willnotworkcorrectly.Youshouldappendparameters--null-stringand--null-non-stringincaseofimportjobor--input-null-stringand--input-null-non-stringincaseofanexportjobifyouwishtoproperlypreserveNULLvalues.Becausesqoopisusingthoseparametersingeneratedcode,youneedtoproperlyescapevalue\mathbb{N}to \\ N:Hive中的Null在底层是以“\mathbb{N}”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入数据时采用--null-string和--null-non-string。3）执行Sqoop导出脚本[atguigu@hadoop102bin] \end{gathered}$$ chmod 777 sqoop_export.sh
[atguigu@hadoop102 bin]$ sqoop_export.sh all
4）在MySQL中查看结果
SELECT * FROM ads_uv_count;
SELECT * FROMads_user_retention_day_rate;
SELECT * FROMads_user_action_convert_day;
SELECT * FROMads_gmv_sum_day;
SELECT * FROMads_gmv_sum_province;