最近的工作总结

    最近建立数据仓库的过程中遇到了若干问题,现总结如下。

    1 mysql到oracle的迁移。这是个复杂的问题,因为我们没有计划投资购买datastage这样牛逼的ETL工具,因此最开始我决定自己写代码,将mysql的数据导入文本中,再利用sqlldr将数据导入到oracle中。这个过程说起来并不是很复杂,但是实际操作起来比较烦,因为我遇到了如下的问题:

     1.1 NULL值。mysql导出文件的时候null值会被处理为“\N”,这样在入库的时候oracle会直接将它当做一个字符来处理,因此就出现了这样的困扰,我也许还需要在数据导入成功以后进行一次update操作,四五万条数据我也就认了,可是动辄百万千万的数据,我是没有这个耐心的。于是我选择了在SQL中进行修改,写了case when语句将null处理成了'',这样sqlldr入库的时候就会将它处理成null值了。

     1.2 汉字。搞程序的人也许对汉字会又爱又恨,因为我们程序员英语好的不多,大部分人很讨厌读英文文档,一方面又要面对汉字经常乱码的问题。在对mysql的导出数据进行入库的时候就出现了汉字乱码的问题,而且比较奇怪的是,在我直接在数据库服务器上用sqlplus进行查询的时候汉字显示正常,而在远程windows上用plsql dev查,汉字就是一堆乱码了。后来我在控制文件的第二行加了这样一句:“characterset UTF8”,解决了这个问题。希望大家遇到类似的问题能用我的这个方法解决掉。

     1.3 换行。业务系统是面向用户的,不能要求用户进行很规范的输入,比如有的用户就喜欢在注册昵称里加很多特殊字符,而我被各种各样的换行符困扰了很久。回车换行是比较常见的换行符,在android这样的操作系统里,换行符属于linux形式,被导出来的时候,mysql并不会将换行符以某种形式导出,而是直接在文本中进行了换行,比如一个人的昵称是

“阳光小男生

  我爱XXX”

     那么在输出的时候就是这样的(表结构是id, nickname):

     123, 阳光小男生

  我爱XXX

     这样子入库的时候sqlldr就识别不了了,只能按照第二行入库,但是id是number型的,入库的时候“我爱XXX”是会报错的。为了解决这个问题,只好再用case when对“\n”进行处理,处理成'',反正数据仓库并不需要将这些非主流的名字那么精确地入库。接下来还会遇到的就是windows的换行符了,对于这个问题,还是用case when处理,于是有些非主流的信息只能加了好几层case when进行处理。真是让我无力吐槽。

     2 工具。对于工具其实ETL界最有名的莫过于datastage了,但是IBM的东西一向很贵,而且部署起来成本也是比较大的。所以互联网公司一般会转向开源软件,这个时候google告诉我有一款叫做kettle的软件很好用。

     kettle主要包括了三个部分,spoon,kitchen和pan。都是厨房用具,连kettle都是水壶的意思,外国人有时候确实很有意思。其中spoon是图形化界面,可以用于新建转换和作业这些操作,kitchen用于调度作业,pan用于调度转换。因为kettle并不像DS那样,有服务端和客户端,在客户端建立的Job,服务端会定期调度,如果要kettle实现这一功能,就必须把spoon一直开着,而且把job置为运行状态,这样做很容易导致java heap报错。因此大家都推荐使用crontab定时调度kitchen。

     一个多月以来我试验了上述的两种方法,第一种方法是我第一家企业,那个研究所喜欢使用的,但是我通过实际操作发现,自己写代码,维护的成本会很大,而且很容易出错,如果这个人走了,那么接手的人会很难受。而使用工具是业界比较流行的做法,其实用好一款工具,精通它,那么你在这个领域也能称为达人了,现在我才深刻的理解了那句“工欲善其事,必先利其器”。

    Kettle的用法,我会慢慢总结。

     

你可能感兴趣的:(工作总结)