影响ETL数据传输性能的9大因素及主流ETL应对策略

前言

现在很多企业在选择ETL工具时都特别关注ETL的数据传输性能，而有很多开源ETL工具都说自已是性能如何如何快，而事实上数据传输性能是不是这些工具说的那样快呢？ 数据传输性能受制于哪些因素呢？企业在自身数据库性能受制的情况下一味的想用ETL工具来提升性能是不现实的。通常我们在构建高效数据传输管道时，ETL（抽取、转换、加载）的性能受多方面因素的制约。我们只有深入了解这些因素才能清楚我们的性能瓶颈的主要原因是什么，并采取相应的优化策略，对于提升数据传输的速度至关重要，下面是我们总结的一些影响数据传输性能的核心因素：

1. 数据库本身的性能

数据读取速度和写入性能： 数据库引擎的读取速度和写入性能是直接影响ETL性能的关键因素。优化数据库查询、建立有效的索引、合理设计数据库结构都能提升性能。很多情况下数据库本身的读取和写入QPS很低，造成ETL的传输性能非常低，根据我们的经验来看数据库的读取QPS应该至少要达到10Wqps以上，写入性能最低要达到2WQPS以上，3WQS是一个正常可接受的速度，而最高值达到6W-8WQPS则已经是非常好的性能了。

2. 带宽和网络延迟

带宽和网络延迟： 有限的带宽和高网络延迟会导致数据传输速度变慢。因此，在设计ETL流程时，要考虑网络状况，甚至可以选择进行数据的压缩减少数据的传输大小。

3. 数据量和数据库表设计

数据量和字段数量： 大规模数据传输自然需要更多时间。合理设计数据库表结构，同时在ETL数据管道设计时避免读取不必要的字段，有助于减小数据量，提高传输效率。

4. ETL工具本身的性能

并行处理和线程协作： ETL工具的并行处理算法和线程协作策略影响整体性能。选择合适的工具，并配置适当的并行线程处理策略，能够显著提高传输速度。

5. 采用专有数据库提供的SDK

采用专有数据库的读取和写入SDK： 部分数据库的JDBC读取速度较慢，使用专有数据库提供的读取和写入SDK可能提供最佳的传输性能。选择适合数据库的参数配置能够改善数据传输性能，很多数据库在数据源连接时都有很多额外的属性来配置不同情况下采用不同的缓存策略和SQL解析策略。

6. 批量提交和数据库事务技术

批量提交和数据库事务： 使用批量提交和优化的数据库事务技术，能够减少数据库交互次数，提高数据写入效率，降低传输延迟，特别在数据提交时尽量使用批量提交否则性能下降会很快。

7. 降低内存使用率和使用数据压缩技术

降低内存使用率和使用数据压缩技术： 通过优化内存使用和采用数据压缩技术，可以减小数据传输的内存占用，提高整体性能，对于需要序列化的数据对象应采用最佳的序列化算法。

8.磁盘的IO因素

磁盘的IO性能： 数据库的IO性能直接关系到数据的读写速度。使用高性能磁盘、优化磁盘读写操作，可以明显提升ETL过程中数据传输的速度

9. 其他技术因素

其他技术点： 例如，使用缓存机制、定期优化数据库统计信息、合理设置ETL任务调度周期等，都是优化性能的关键技术点。

为什么不同ETL工具性能存在差异?

不同ETL工具性能差异的根本原因包括底层架构、算法设计、并行处理策略、资源利用效率等。一些工具可能更适合特定规模或类型的数据处理。因此，在选择ETL工具时，需要综合考虑数据规模、处理复杂性以及工具本身的性能表现，一般可以采用同等条件下安装多款ETL工具来进行性能的对比测试，一般对比3次运行效率再取平均值即可得些此款ETL工具的传输效率，在排除其他因素之外如果所有工具采用的底层技术原理是一样的情况下一般ETL工具的性能差距在30%左右，当然也有些ETL工具会因为架构过于复杂或者只针对某一种场景做了优化的情况下会出现性能特别低或者某一固定场景性能特别优秀的情况。

主流ETL如何提升数据传输性能的?

1. Kettle在数据传输性能主要采用了边读、边传、边写技术，同时支持多线程并行作业，通过开启多线程可以大幅提升数据传输性能。

2. DataX在数据传输性能方面主要通过数据分片技术，通过指定数据库表的分片键来对数据进行切片然后再开启多线程的群来对分片的数据进行传输。

3. ETLCloud在数据管道的性能设计上花费了大量的时间，应该是说从产品设计一开始就在考虑如何获得最快的传输性能的问题，同时在性能和功能上如何做到兼顾是一个难题，有时你想具备最优性能时发现功能就不能做得太复杂，如果你想功能做得很复杂你的性能自然就会下降，这是一个好产品应该去平衡一个艺术问题。ETLCloud在性能优化上我们针对主流数据库都做了特别的优化和代码优化，尽量采用数据库自身的最佳读取和写方式进行连接和SQL语句的执行，对于特别像Hive、Doris、StarRocks、ES、MongodB等我们均开发了相应的高输传输组件采用多通道并行读写技术，性能可以说做到了极致，在大部分场景下不管是开源的ETL工具还是第三方厂商的商业ETL工具在性能PK上我们均做到了优于其他产品15%以上的速度优势。

（ETLCloud数据传输及性能监控）

免费下载ETLCloud全域数据集成平台