2019独角兽企业重金招聘Python工程师标准>>> 
因为binlog会有重复拉取的操作，那么如果后端存储是mysql,如何处理
看到微信推了一篇文章，先保存起来
MySQL处理插入过程中的主键唯一键重复值办法
2016-05-05 pursuer.chen 数据库开发
来自：pursuer.chen - 博客园
作者：pursuer.chen
链接：http://www.cnblogs.com/chenmh/p/5392540.html（点击尾部阅读原文前往）
介绍
本篇文章主要介绍在插入数据到表中遇到键重复避免插入重复值的处理方法，主要涉及到IGNORE,ON DUPLICATE KEY UPDATE,REPLACE；接下来就分别看看这三种方式的处理办法。
IGNORE
使用ignore当插入的值遇到主键(PRIMARY KEY)或者唯一键(UNIQUE KEY)重复时自动忽略重复的记录行，不影响后面的记录行的插入，
创建测试表
CREATE TABLE Tignore
(ID INT NOT NULL PRIMARY KEY ,
NAME1 INT
)default charset=utf8;
正常的插入如果插入的记录中存在键重复会报错，整个语句都会执行失败
使用IGNORE如果插入的记录中存在重复值会忽略重复值的该记录行，不影响其它行的插入。
REPLACE
使用replace当插入的记录遇到主键或者唯一键重复时先删除表中重复的记录行再插入。
REPLACE INTO Treplace() VALUES(1,1),(1,2),(2,2);
创建测试表
DROP TABLE IF EXISTS Treplace;
CREATE TABLE Treplace
(ID INT NOT NULL PRIMARY KEY ,
NAME1 INT
)default charset=utf8;
从输出的信息可以看到是4行受影响，说明它是先插入了（1,1）然后又删除了（1,1）
ON DUPLICATE KEY UPDATE
当插入的记录遇到主键或者唯一键重复时，会执行后面定义的UPDATE操作。
相当于先执行Insert 操作，再根据主键或者唯一键执行update操作。
创建测试表
DROP TABLE IF EXISTS Tupdate;
CREATE TABLE Tupdate
(ID INT NOT NULL PRIMARY KEY ,
NAME1 INT UNIQUE KEY
)default charset=utf8;
INSERT INTO Tupdate() VALUES(1,1),(1,2) ON DUPLICATE KEY UPDATE NAME1=NAME1+1;
INSERT INTO Tupdate() VALUES(1,1),(1,2) ON DUPLICATE KEY UPDATE NAME1=VALUES(NAME1)+1;
第一条语句相当于执行：
INSERT INTO Tupdate() VALUES(1,1)
UPDATE Tupdate
SET NAME1=NAME1+1
WHERE ID=1;
第二条语句相当于执行：
INSERT INTO Tupdate() VALUES(1,1)
UPDATE Tupdate
SET NAME1=2+1
WHERE ID=1;
在ON DUPLICATE KEY UPDATE后面使用VALUES指的就是插入的记录的值，而不使用VALUES指的是表的自身值。
注意： ON DUPLICATE KEY UPDATE的后面执行的UPDATE更新的记录是WHERE重复的主键或者唯一键的ID，这点非常重要。
比如下面这种情况：
INSERT INTO Tupdate() VALUES(1,1),(2,1) ON DUPLICATE KEY UPDATE NAME1=VALUES(ID)+1;
它是唯一键NAME1重复但是主键不重复，执行的语句是这样的：
INSERT INTO Tupdate() VALUES(1,1)
UPDATE Tupdate
SET NAME1=2+1
WHERE ID=1;
不要认为会插入主键ID=2的记录进去。
总结
上面的三种处理重复值的方法都支持标准的INSERT语法，包括INSERT INTO...VALUES, INSERT INTO ....SET ,INSERT INTO..... SELECT。
回头需要了，再来翻翻！