我们在进行大批量的数据插入时,遇到唯一索引冲突是经常的事,报错如下:
java.util.concurrent.ExecutionException: org.springframework.dao.DuplicateKeyException:
### Error updating database. Cause: java.sql.SQLIntegrityConstraintViolationException: Duplicate entry '1122-zhangsan' for key 'idx_no_name'
在MySQL中有4种方法可以避免唯一索引冲突
(一)导入差异数据,忽略重复数据,IGNORE INTO的使用
(二)导入并覆盖重复数据,REPLACE INTO 的使用
(三)导入保留重复数据未指定字段,INSERT INTO ON DUPLICATE KEY UPDATE 的使用
表 test1
INSERTIGNORE语句可以在插入数据时忽略唯一索引冲突的错误,而不会中断插入过程。
如果插入的数据存在唯一索引冲突,那么MySQL将忽略该行的插入操作,继续插入下—行数据。
INSERT IGNORE INTO table_name (column1, column2, ...)
VALUES (valuel, value2, ...),...
REPLACE语句可以用于插入新行或替换已存在的行。
如果存在primary or unique相同的记录,则先删除掉。再插入新记录
如果插入的数据存在唯一索引冲突,那么MySQL将删除已存在的行,并插入新行。
这种方法就是不管原来有没有相同的记录,都会先删除掉然后再插入。这意味着插入操作总是成功的,但可能导致数据丢失
REPLACE INTO table_name (columnl, column2, ...)
VALUES (valuel, value2, ...),...
当primary或者unique重复时,则执行update语句,如update后为无用语句,
如id=id,则同1功能相同,但错误不会被忽略掉。例如,为了实现name重复的数据插入不报错,可使用一下语句:
INTO table_name (columnl, column2, ...)
VALUES (valuel, value2, ...),...
ON duplicate KEY UPDATE id = id
这种方法有个前提条件,就是,需要插入的约束,需要是主键或者唯一约束。
根据select的条件判断是否插入,可以不光通过primary 和unique来判断,也可通过其它条件。例如:
INSERT INTO books (name) SELECT 'MySQL Manual'
FROM dual
WHERE NOT EXISTS (SELECT id FROM books WHERE id = 1)
这种方法貌似写这很繁琐
INSERT INTO order (orderId ) VALUES
SELECT '500002' FROM DUAL WHERE NOT EXISTS (
SELECT * FROM order WHERE orderId='500002'
)