转自:https://www.cnblogs.com/yuyu666/p/10049912.html
ETL数据清洗工具总结
用excel做数据清洗,少量数据和表还行,如果上百万就很痛苦了,毕竟性能在那。如果有SQL的基础可以写SQL语句对数据做清洗,但是有些清洗SQL处理起来并不是很方便。再高阶一点,如果有编程的基础可以学Python,写脚本对数据做清洗,性能高处理快,就是门槛有点高。自动化清洗集成比较好的工具,之前接触过智器云的火治还是比较好用的。可以自动对数据分组,然后对分组的数据匹配清洗模板,清洗模板相当于包含了很多excel的函数,上手很快。
还有一些辅助清洗的小工具。
比如文件查找工具FileLocatorPro,不仅能对表头查找,重点是能对文件内容搜索。什么意思呢,举个例子比如要找内容包含“数据清洗”的文件,用这个工具就能找到。像Everything那些查找工具都只能对文件名搜索。
文件名清洗工具ReNamer。可以批量修改文件名,什么插入、删除、替换、扩展名都可以修改。
还有excel的一些插件也很好用,比如方方格子,效率专家之类的。
作者:凉白开 链接:https://www.zhihu.com/question/360711041/answer/940290001
来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
【国外】
下载地址:ftp://ftp.seu.edu.cn/Pub/Develop … taStage.v7.5.1A-iSO
BT种子下载:http://pan.baidu.com/share/link?shareid=172289&uk=67437475
---------------------------------------
Informatica PowerCenter 8.6.1 for Win 32Bit
服务端下载:http://pan.baidu.com/share/link?shareid=183214&uk=67437475
客户端下载:http://pan.baidu.com/share/link?shareid=183217&uk=67437475
Informatica PowerCenter 8.6.0 for Win 32Bit
BT种子下载:http://pan.baidu.com/share/link?shareid=172290&uk=67437475
Informatica PowerCenter 8.1.1 for Win 32Bit
安装包下载:http://pan.baidu.com/share/link?shareid=183201&uk=67437475
---------------------------------------
下载地址:http://kettle.pentaho.com/
---------------------------------------
下载地址: www.oracle.com/technetwork/cn/testcontent/index-091026-zhs.html
---------------------------------------
5.Cognos
下载地址:http://www.ibm.com/developerworks/cn/downloads/im/cognosbi/
Cognos BI 8.3
BT种子下载: http://pan.baidu.com/share/link?shareid=172287&uk=67437475
Cognos BI 8.4
BT种子下载:http://pan.baidu.com/share/link?shareid=172288&uk=67437475
------------------------------------------
【国内】
6. beeload
点评: 最好的国产ETL工具,但产品化程度还有一定距离。
下载地址: www.livbee.com
---------------------------------------
二 专业调度工具
有人说: ETL是BI的基础,而调度是ETL的灵魂,可见调度的重要性!
调度原本是ETL技术的一个分支,但这些年, 调度越来似乎有走独立工具的趋势。虽然在ETL工具有调度功能,但与独立调度工具相比,ETL工具的调度就显得很弱了。
【国外】
官网地址:www.bmc.com
--------------------------------------
【国内】
--------------------------------------
--------------------------------------
Moia
点评:产品与项目是有区别的,不要总是在产品化与客户化之间徘徊。
官网地址:http://www.adtec.com.cn/_d271218319.htm
--------------------------------------
ETL-Plus
点评:功能全,遗憾的是东南倒塌。
下载地址:[无]
原文转自IT Pub:
http://www.itpub.net/forum.php?mod=viewthread&tid=1757788
-----[尐鱼儿的 JAVA编程QQ群:726994578]-----