如何优化Mysql etl性能?

mysql

  • 一、分区表
    • <一>、按年分区
    • <二>、按月分区
    • <三>、自定义分区
  • 二、rewriteBatchedStatements
  • 三、on duplicate key update
  • 四、索引
  • 五、大事务拆分
  • 六、文件导入与导出

一、分区表

分区表是将表数据分割成多个较小的分区,每个分区可以独立地进行管理和维护。通过将数据分布在多个分区中,可以提高插入操作的性能
当数据量较大时,如超过500w就可以建立分区表

  • 并行插入:当使用分区表时,可以将数据分成多个分区,并行地插入数据到不同的分区中。这样可以利用多个插入线程同时将数据写入不同的分区,从而提高插入的并发性能。
  • 减少索引维护:对于有索引的表,插入操作会触发索引的维护,包括索引的更新和重新排序。在分区表中,可以将索引分布在不同的分

你可能感兴趣的:(数据库开发,mysql,etl,数据库)