7.2 数据的批量加载

通常情况下,对于几千条甚至几十万条记录的数据迁移而言,采取DML(即数据操纵语言)的INSERT语句能够很好地将数据迁移到目标数据库中。然而,当数据迁移量过于庞大时,就不能使用INSERT语句,因为执行INSERTUPDATE以及DELETE语句的操作都会生成事物日志,事物日志的生成会减慢加载的速度,故需要针对数据采取批量加载操作。

1.打开kettle,创建转换

7.2 数据的批量加载_第1张图片

 

2.配置csv文件输入控件

7.2 数据的批量加载_第2张图片

3.配置表输出控件

7.2 数据的批量加载_第3张图片

4.运行转换

7.2 数据的批量加载_第4张图片 

5.查看数据表weibo_user中的数据

 7.2 数据的批量加载_第5张图片

 Thank You!

你可能感兴趣的:(ETL数据清洗,etl,大数据,etl工程师,数据库,mysql)