DataX Vs Sqoop

DataX

https://github.com/alibaba/DataX/wiki/DataX-all-data-channels
支持的数据源：

• 更侧重于业务数据库之间的数迁移
• 目前还只看到是 standalone 模式
• 使用方便，迁移任务的定义也比较灵活，但是目前只有一种数据源到另一种数据源的迁移。
• 对于大数据 hdfs 的支持不是很好。明显没有利用到 hdfs 的 locality 特性读写数据。
• 但是 reader 和 writer 接口定义非常灵活，也可以自己扩展
• transformation 好像还没有实现
• 支持分库分表的数据库

源码解读：

• 入口：Engine
  关键：JobContainer 和 TaskGroupContainer
• 如何调度：
• Reader的任务切分：
  RangeSplit：会根据参数job.setting.speed.channel来最终确定每个表改分成几个task。简单的说，假如 channel 设置的是4，你的分库分表的总 table 为2，则每张表会获得2个 splittask。
• Writer 的任务切分：跟 reader 保持一致。

Sqoop2

值得借鉴的：

• commandline客户端入口 shell->SqoopShell： 用的是groovysh
• API Client入口：实际上是 web api （json 格式）
• 调度和执行引擎：
• Repository：底层如何适应多种db的设计
• partition：
  • 数字类型：Range
  • 日期类型：本质上也是 Range
  • 字符类型：利用 java unicode 将任意字符转换成对应的 codepoint， 变成BigDecimal 比较大小， 非常巧妙的设计

基础：

字符串：
hash：TODO

• 编码：任何一种语言，内存之间数据都不要考虑编码，当与外界发生交换和读取时，需要考虑外界文件的编码，再解码并成 unicode。
  java,python 内存里面都是 unicode 编码，只有当需要存储或传输时则需要不同的编码，甚至包括压缩的（为了时空考虑）。所以内存大小和保持成文本大小通常肯定是不一样的。
  http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

• 大端小端问题：跟编码无关，主要是 cpu不同型号，主要影响大于 byte 的任意数据的操作，cpu 从内存中取出数据后，是该先读高端还是低端或者从其他地方读取数据后，放入内存高端还是低端地址。
  主要需要注意的是是不同操作系统之家不同语言的数据传输。
  对于 java 不用处理。网络传输时大端的，java 也是大端。
  对于下面这种情况，A 端 C 则需要出来。
  操作系统 A（小端）C<->网络传输（大端）->操作系统 B（大端）java
  http://blog.chinaunix.net/uid-12707183-id-2919249.html
  网络层协议规定了网络层是大端的，所以小端方在发送前或接受后都需要做相应的转换。
  http://www.cnblogs.com/fuchongjundream/p/3914770.html

Spark JDBC

目前只支持 Long partition