工作感悟

来到ODS项目组，转眼间接近一个月了，大体总结下这一个月来的工作感悟吧。

   比起上一个项目组，ODS的要求要严格的多，做事情注重效率，完成任务的同时，必须保证正确性

。初来这里我接触的接口规范，目的是给下游的表结构以及抽取方式，我们是上游系统，一旦出错那么涉及的相关的下游必然会受到影响。所以做事情一定要认真，完成任务的同时，一定回过头来检查。细致到表的结构的一致性包括字段的顺序。

  做了一段时间的接口规范，随后接触了数据下发，单表下发和XML下发。简单的说就是从数据库copy出数据生成落地文件，再将这些文件发送到下游。注意两点，其一下发的表是否已经在配置表中存在相应的信息，落数配置信息包括表名、字段名、增量和全量信息等。下发配置信息包括下发作业名称 落数作业名字段分隔符、记录分隔符、下发路径、数据文件等信息。其二 连接的数据库（作为数据源）尽量保证有数据否则下发空文件没有意思。第三点就是环境变量$ODBCINI他的配置信息关系着配置表来源和落数和下发的配置信息以及日志信息。单表下发的一个重要特点是可以并行执行，若作业的落数成功就可以执行对应的下发脚本，不必等所有的作业的落数都完成。提高了数据下发的效率。若作业是公共表那么只需要落数一次，避免了频繁抽取，减少数据库的压力。相较于单表下发，XML方式的数据下发，他的特点是串行执行，要下发的表预先定义在一个XML格式的文件里，必须所有的落数都完成之后，才可以执行下发的脚本，速度远不如单表下发快。

  这段时间以来，我感受最深的是语言的应用，shell、perl。

  shell常用命令 cd 目录  转向

               cp a/* b/ 复制a 目录下的所有文件到b目录下。

              rm -f 文件名或者目录  强制删除

             ll *shanghai_*|wc -l 统计文件数量

             ll -rt 按照时间升序排序显示

            cat 文件名   显示文件内容

            vi 文件名   打开且可以编辑文件

            ll * |grep asd 显示匹配上asd的文件

           df -h 显示磁盘文件的状态

         sz -p 文件名 服务器下载文件到本地

         rz   文件上传到服务器

perl 语言这部分慢慢学习吧，学号一门语言并不是一朝一夕的事情，感觉这门语言使用的频率很高，慢慢积累学习吧。