ETL数据清洗工具总结
转自：https://www.cnblogs.com/yuyu666/p/10049912.html
ETL数据清洗工具总结
用excel做数据清洗，少量数据和表还行，如果上百万就很痛苦了，毕竟性能在那。如果有SQL的基础可以写SQL语句对数据做清洗，但是有些清洗SQL处理起来并不是很方便。再高阶一点，如果有编程的基础可以学Python，写脚本对数据做清洗，性能高处理快，就是门槛有点高。自动化清洗集成比较好的工具，之前接触过智器云的火治还是比较好用的。可以自动对数据分组，然后对分组的数据匹配清洗模板，清洗模板相当于包含了很多excel的函数，上手很快。
还有一些辅助清洗的小工具。
比如文件查找工具FileLocatorPro，不仅能对表头查找，重点是能对文件内容搜索。什么意思呢，举个例子比如要找内容包含“数据清洗”的文件，用这个工具就能找到。像Everything那些查找工具都只能对文件名搜索。
文件名清洗工具ReNamer。可以批量修改文件名，什么插入、删除、替换、扩展名都可以修改。
还有excel的一些插件也很好用，比如方方格子，效率专家之类的。
作者：凉白开 链接：https://www.zhihu.com/question/360711041/answer/940290001
来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
【国外】
- datastage
点评：最专业的ETL工具，价格不菲，使用难度一般
下载地址：ftp://ftp.seu.edu.cn/Pub/Develop … taStage.v7.5.1A-iSO
BT种子下载：http://pan.baidu.com/share/link?shareid=172289&uk=67437475
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
- informatica
点评：专业程度如Datastage旗鼓相当，价格似乎比Datastage便宜。
Informatica PowerCenter 8.6.1 for Win 32Bit
服务端下载：http://pan.baidu.com/share/link?shareid=183214&uk=67437475
客户端下载：http://pan.baidu.com/share/link?shareid=183217&uk=67437475
Informatica PowerCenter 8.6.0 for Win 32Bit
BT种子下载：http://pan.baidu.com/share/link?shareid=172290&uk=67437475
Informatica PowerCenter 8.1.1 for Win 32Bit
安装包下载：http://pan.baidu.com/share/link?shareid=183201&uk=67437475
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
- kettle
点评：业界最有名的开源ETL工具。开源当然就免费，免费的有些东西使用就不是很方便。
下载地址：http://kettle.pentaho.com/
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
- ODI
点评：oracle数据库厂商提供的工具，有局限性，与oracle数据库耦合太深。
下载地址: www.oracle.com/technetwork/cn/testcontent/index-091026-zhs.html
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
5.Cognos
下载地址：http://www.ibm.com/developerworks/cn/downloads/im/cognosbi/
Cognos BI 8.3
BT种子下载： http://pan.baidu.com/share/link?shareid=172287&uk=67437475
Cognos BI 8.4
BT种子下载：http://pan.baidu.com/share/link?shareid=172288&uk=67437475
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
【国内】
6. beeload
点评： 最好的国产ETL工具，但产品化程度还有一定距离。
下载地址: www.livbee.com
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
二 专业调度工具
有人说: ETL是BI的基础，而调度是ETL的灵魂，可见调度的重要性！
调度原本是ETL技术的一个分支，但这些年, 调度越来似乎有走独立工具的趋势。虽然在ETL工具有调度功能，但与独立调度工具相比，ETL工具的调度就显得很弱了。
【国外】
- Control-M
点评：你当了大哥太多年，确实有点寂寞。不论是你的规模、价格、使用难度，都很伟大，但我一界平民，你对我只是传说。
官网地址：www.bmc.com
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
【国内】
- taskctl
点评：调度新秀。专业，而且设计独特、体验友好。易安装、易使用，看好其前景。
下载地址：http://www.taskctl.com/html/2012 … 8b57714a50a15a.html
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
- ETS
点评：专业化有待提升
官网地址：http://www.etlschedule.com/
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
-
Moia
点评：产品与项目是有区别的，不要总是在产品化与客户化之间徘徊。
官网地址：http://www.adtec.com.cn/_d271218319.htm
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－ -
ETL-Plus
点评：功能全，遗憾的是东南倒塌。
下载地址：[无]
原文转自IT Pub：
http://www.itpub.net/forum.php?mod=viewthread&tid=1757788
-----[尐鱼儿的 JAVA编程QQ群：726994578]-----