批量向MySQL导入1000万条数据的优化

1.用start transaction关闭mysql的自动提交,合理设置插入批量大小,不要一条数据提交一次。
2.修改表的存储引擎InnoDB为MyISAM。(因为InnoDB中存在redo log日志,每次更新表的结果先写入redo log中,等redo log满了之后再写入磁盘而这个过程是会停止其他所有的事务)
3.优化SQL(一条SQL语句插入多条数据)
4.尽量顺序插入(存储引擎底层采用的数据结构是B+tree索引,如果每次插入记录都在索引的最后面,索引的定位效率很高,并且对索引调整较小;如果插入的记录在索引中间,则需要维护B+tree并且索引定位效率会下降,数据量较大时会有频繁的磁盘操作)

你可能感兴趣的:(批量向MySQL导入1000万条数据的优化)