kettle 采取Hadoop 读取本地数据到hive

打开解压之后的文件双击spoon.sh,打开kettle的图形界面
kettle 采取Hadoop 读取本地数据到hive_第1张图片文件->新建->转换
左侧主对象树->DB连接 右击新建
连接类型选择自己需要的数据库类型,这里我选择的是sqlserver,填好信息之后点击测试出现如图所示说明连接数据库成功!
kettle 采取Hadoop 读取本地数据到hive_第2张图片这里sqlserver作为我的源数据库,hive作为目标库 ,hive库连接和sqlserver一样。

到这里我么开始查询数据并且导入到hive库。

核心对象->输入->表输入 双击到右侧窗口或者直接拖拽都可以。
kettle 采取Hadoop 读取本地数据到hive_第3张图片
双击打开表输入
kettle 采取Hadoop 读取本地数据到hive_第4张图片选择之后点击‘获取SQL查询语句’
需要注意的是选择表之后会弹出框提示’是否想在SQL里面包含字段名吗?‘这里一定要选择是,否则后面入库的时候回出错,字段对应不上无法入库。
kettle 采取Hadoop 读取本地数据到hive_第5张图片kettle 采取Hadoop 读取本地数据到hive_第6张图片这是我选择之后的,当然如果想测试这段SQL是否正确可以点击预览查看数据是否正确。
核心对象->输出->表输出 同理表输入(直接双击或者直接拖拽到右侧窗口都可以)
kettle 采取Hadoop 读取本地数据到hive_第7张图片双击打开表输出,按提示填写好所有的信息
kettle 采取Hadoop 读取本地数据到hive_第8张图片填写好之后一定要勾选’指定数据库字段’ 如果不选的话,入库的时候字段对应不上,一样会报错

点击’输入字段映射’选择对应到数据库的字段,双击源字段即可
kettle 采取Hadoop 读取本地数据到hive_第9张图片选择确定之后会发现在表字段中字段前面带有表的前缀,这里也要注意一下,一定要把前缀去掉,不然执行的时候会报错(这个报错原因我也不清楚)
kettle 采取Hadoop 读取本地数据到hive_第10张图片到这入库的过程就结束了
下面我们来测试一下这个程序是否正确
kettle 采取Hadoop 读取本地数据到hive_第11张图片出现完成没有报红色警告就说明我们程序正常运行
kettle 采取Hadoop 读取本地数据到hive_第12张图片
之前做Java 第一次接触大数据,写点东西记录一下,当然也有不足的地方,希望大家指出来,未经本人允许不得转载 谢谢

你可能感兴趣的:(kettle 采取Hadoop 读取本地数据到hive)