hadoop学习笔记6-sqoop
一.sqoop基础
1.sqoop也是apache的项目
2.sql-to-hadoop比如将mysql的数据导入到hdfs中，反过来也是
以前我老记不住sqoop是干嘛的，但是把他分解成sql-to-hadoop，就好记了
3.sqoop作业：用于定时执行。
数据导出导入,sqoop作业是重点
5.sqoop怎么和hadoop合作
sqoop接到导入导出命令后，生成mapreduce代码，打成jar包，提交给hadoop
这个jar保命称，我执行过程中发现他是根据表名自动生成得
二.安装过程
1.下载
我是本地有压缩包直接上传的
2.修改环境变量
解压后修改环境变量
修改后记得source一下在echo输出验证一下
3.修改配置文件
修改bin下configure-sqoop，注释掉HCAT_HOME和ACCUMULO_HOME相关命令
我也不知道这步省略行不行，没试
4.验证
sqoop version
6.上传驱动包
把mysql-connector-java-5.1.27-bin.jar上传到sqoop的lib下
7.hdfs的配置（无需修改）
三.sqoop命令
1.全表导入
我才发现我没写端口号居然也执行成功了
sqoop import --connect jdbc:mysql://localhost/test --username root --password root
--table sqooptest -m 1
最后一个-m后边跟的1是因为现在sqoop是单机的 所以是1
导入成功之后 用hdfs命令查看
hdfs dfs -cat /user/root/sqooptest/* 注意那个/* 他导入之后会在文件夹下产生不止一个文件
2.指定导入列
--columns 列1,列2
sqoop import --connect jdbc:mysql://localhost/test --username root --password root --table sqooptest
--columns sex -m 1
3.where条件
--where "条件"
sqoop import --connect jdbc:mysql://localhost/test --username root --password root --table sqooptest
--where "sex='woman'" -m 1
4.columns和where结合使用
sqoop import --connect jdbc:mysql://localhost/test --username root --password root --table sqooptest
--columns sex,name --where "sex='woman' or name='bdy'" -m 1
5.指定导入到hdfs的位置
--target-dir
之前没指定时候都是导入到默认位置
sqoop import --connect jdbc:mysql://localhost/test --username root --password root --table sqooptest -m 1
--target-dir /user/xysqoop
6.query查询
sqoop import --connect jdbc:mysql://localhost/test --username root --password root --target-dir /xy2 -m 1
--query "select * from sqooptest where sex='woman' and \$CONDITIONS"
有query就不用指定--table了
最后那个and \$CONDITIONS是必须要带着的
我执行过程中发现有query语句时，生成得jar包名称不太一样
四.增量导入
1.增量导入方式
1.1.append 只增加数据 不更新数据
需要有一个int型字段
1.2.lastmodified 更新
需要有一个时间字段
--append和--merge-key两种方式，下边执行命令时候会具体展开讲
以上几种 个人觉得lastmodified+--merge-key id更好
2.append增量导入
1.先全表导入
sqoop import --connect jdbc:mysql://localhost/test --username root --password root --target-dir /xy3 -m 1 --table sqooptest
2.查看数据
hdfs dfs -cat /xy3/*
3.在表中添加数据
4.用append模式增量导入
sqoop import --connect jdbc:mysql://172.20.31.170/test --username root --password root --target-dir /xy3 -m 1 --table sqooptest
--check-column id（需要一个int型字段）
--incremental append（指定增量导入的模式）
--last-value 5（上次导入的最大值是5）
5.看日志
6.查看增量导入结果
3.lastmodified模式增量导入
1.先准备一张有时间字段得表，全表导入
sqoop import --connect jdbc:mysql://localhost/test --username root --password root --target-dir /xy_lasttime -m 1 --table sqooptest
2.hdfs查看
3.lastmodified --append增量导入
sqoop import --connect jdbc:mysql://172.20.31.170/test --username root --password root --target-dir /xy_lasttime -m 1 --table sqooptest
--check-column update_time（需要一个时间型字段）
--incremental lastmodified（指定增量导入的模式）
--last-value "2021-02-23 10:38:00"（上次导入的最大值是5）
--append （更新且增加：比如我把xy的性别改为woman 然后我再通过lastmodified模式导入 会发现woman这条数据是添加过来了 但是man那条数据也还在）
以下为运行截图：可以看到把修改后得记录新增过来了
通过lastmodified --append增量导入的结果
4.lastmodified --merge-key增量导入
把--append改为--merge-key 字段 通过merge-key指定一个唯一值字段 我指定的是主键 这样就不会在结果中出现两条数据了
而是通过这个唯一字段进行合并更新 执行命令如下
sqoop import --connect jdbc:mysql://localhost/test --username root --password root --target-dir /xy_time -m 1 --table sqooptest
--check-column update_time
--incremental lastmodified
--last-value "2021-02-24 10:41:35"
--merge-key id（唯一字段）
以下为运行截图：可以看到把修改后得字段更新了，并且把添加的记录也同步过来了
