MySQL每秒57万的写入，带你飞起~~~

原文链接： https://mp.weixin.qq.com/s?__biz=MzU1NjczNTM5NQ==&mid=2247484436&idx=1&sn=8acaaa488c1ddcdfbd4e56a6875d9d00&chksm=fbc1cad8ccb643cedbcaf4347515ad9431d419204771913db76ced1598b473f934b7f0b441d0&token=1436252042&lang=zh_CN#rd

推荐阅读 : IT编程语言百度网盘学习资源汇总 !!! 

                                                                                                                                   本文作者：吴炳锡

                                                                                                                                    来源:https://yq.aliyun.com/articles/278034

 

 

实际文件8.5G，写入TokuDB大小3.5G，只是接近于一半多点的压缩量。 对于20亿数据写入，实际测试在58分钟多点就可以完成。可以满足实际需求，另外对于磁盘IO比较好的机器（SSD类盘，云上的云盘），如果内存和数据差不多情况，这量级数据量测试在Innodb里需要添加自增列，可以在3个小多一点完成。 从最佳实战上来看，Innodb和TokuDB都写入同样的数据，InnoDB需要花大概是TokuDB3-4倍时间。文件大小区别，同样20亿数据：

 

文件大小在5倍大小的区别。

测试结论：

利用TokuDB在某云环境中8核8G内存，500G高速云盘环境，多次测试可以轻松实现57万每秒的写入量。

另外测试几种场景也供大家参考： 如果在TokuDB中使用带自增的主键，主键无值让MySQL内部产生写入速度，下降比较明显，同样写入2亿数据，带有自建主键：

 

同样的数据写入在主键自增无值产生时，不能使用TokuDB的 Bulk loader data特性，相当于转换为了单条的Insert实现，所以效果上慢太多。

关于TokuDB Bulk Loader前提要求，这个表是空表，对于自增列，如自增列有值的情况下，也可以使用。 建议实际使用中，如果自增列有值的情况下，可以考虑去除自增属性，改成唯一索引，这样减少自增的一些处理逻辑，让TokuDB能跑地更快一点。 另外在Bulk Loader处理中为了追求更快速的写入，压缩方面并不是很好。

关于TokuDB Bulk Loader :

https://github.com/percona/PerconaFT/wiki/TokuFT-Bulk-Loader

 

                                                                                      Java基础进阶小结

                                                                                     程序员10大编程法则

                                                                               JVM面试考点看这篇就够了!

                                                                               通俗易懂之Tomcat源码分析

                                                                              5年Java开发工程师面试总结

                                                                            MySQL常用sql总结(带配套视频)

                                                                      史上最易懂的设计模式视频--马士兵系列！

                                                              Java学习路线全攻略(资料、视频、源码、项目实战)