【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程

注意:此篇博文不更新了,因为我觉得csdn的编辑器用着不爽,尤其是不合适写教程。

https://www.kancloud.cn/yx66/talend

此篇博文的内容放到了看云上,点击跳转

 

 

需求:

我司用的是talend6.4版本,该工具是做ETL的。我们主要是用来做数据集成

我目前对ETL的大体理解是,将A数据库的数据,根据业务需求查出来之后-》在存到另一个B数据库-》然后做BI的时候,是直接从B库里取数据。正好对应软件的数据集成功能

 

注意:

我这是数据集成,数据集成,看好咯 在继续往下看。

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第1张图片

如 TAC:TAC是为了建立一个连接中心,然后达到多用户在不同地域协同工作的目的(必须买许可证才能用)

 

 

建议:

大家不要去百度直接搜,教程什么的,我发现搜出来的都是五花八门的,总之 都是没啥用的。

如 博客搜出来2篇 常用组件的,刚接触我都不会用,看常用组件有啥用。

要不就是csdn要分下载的,下下来 是2014年的文档 还七零八散的不全。

建议大家直接去官网,虽然是全英文,谷歌浏览器 右键翻译成中文能解决你很大的问题。

然后就是在文档中找到你需要的文档,在不断的执行。

 

概念:

架构就是表结构,作业就是工作;

作业 == 新建一个图纸(设计区域);

组件 == 给函数封装成了带可视化的图形(我的理解是,所谓的 组件是java通过操作数据库的api,封装的函数,该函数上面放了个图标,就变成了 一个可视化可拖动傻瓜式的一个组件了);

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第2张图片

    映射组件 == 中间表的功能

作业下面(控制台) == 修改组件配置参数的(往被封装的函数里传参);

 

个人习惯操作流程:

先挑选组件,在作业区域摆好后(

      2种方法:

            1、从元数据中拖出来(如 file delimted中先创建好)

            2、从右侧先选好。什么时候用哪种看文档

-》连好线

-》设置组件的属性(自动填充:有的需要从元数据中拖到组件上)

-》执行(输出结果)

 

重要文档:

点击查看官网

点击查看教程

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第3张图片

点击查看论坛

点击查看帮助中心

组件相关的文档如何学习与使用(从帮助中心进来)

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第4张图片

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第5张图片

 

 

第1个demo的文档(从帮助中心进来):

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第6张图片

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第7张图片

一层一层的找到这里,或点击直达文档

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第8张图片
 

总结:

点击查看第一个demo

以下主要是针对,官方教程,不太明细的地方写出来,方便大家跟着操作。

是对官方教程的一个补充而已,跟着官方教程跑就可以了,一边跑就一边会遇到下边这些问题

1、在metadata->file delimited中导入文件的时候,注意保留字段名(如果不需要保留字段名请忽略该设置)

准备数据(cvs数据格式如下):

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第9张图片

个人理解:所谓的schema就是表结构

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第10张图片

2、配置好的元数据,如何在组件上使用

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第11张图片

也可以将test_moviies直接拖到作业上,使用

3、如何输出,一行一列的数据(如下图效果)

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第12张图片

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第13张图片

4、添加一个新表

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第14张图片

5、导入的数据时,如何修改默认的字段名

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第15张图片

6、在连线中添加组件,如何拖进去

第1种方法:选中2个组件中的连线,删掉,在一个一个重新连(先断开,在连接)

第2种方法:

7、删除 元数据中 值 前面的空格(左空格)

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第16张图片

8、映射组件tmap(N表相连 的 连表条件)

双击tmap就能进入下图

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第17张图片

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第18张图片

9、另一种拖动组件的方式

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第19张图片

10、总结

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第20张图片

tmap的连接图,可以看出row1和row2是出入源(看上图的连线的名字);

valid_movies和invalid_movies1是要输出的表(看上图连线的名字);

下图中的catch_lookup._inner join reject 使用此设置,任何没有导向器ID或导向器ID与参考文件中的ID不匹配的记录都将传递到此输出。(就是inner join匹配不上的,会输出到invalid_movies组件中;相反inner join匹配上的输出到valid_movies组件中)

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第21张图片

输出组件的配置详解

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第22张图片

 

点击查看组件文档

思路:聪明的做法是,找到该组件的文档,看完参数讲解之后,跑场景(案例、demo),以做为学

 

案例2:

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第23张图片

需要用到的组件:

思路:根据手册,对该组件的定义联想而出

tRowGenerator  //该组件(函数)生成随机数

tJavaRow      //该组件(函数)提供一个代码编辑器,允许通过代码操作java的函数,处理数据

tLogRow      //在运行控制台中显示数据或结果以监视已处理的数据

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第24张图片

具体的实现步骤:

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第25张图片

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第26张图片

【持续更新】talend数据集成的学习、使用和心得记录,市面最好的talend教程_第27张图片

 

你可能感兴趣的:(大数据)