MySQL - 批量插入唯一索引冲突避免办法

我们在进行大批量的数据插入时,遇到唯一索引冲突是经常的事,报错如下:

java.util.concurrent.ExecutionException: org.springframework.dao.DuplicateKeyException: 
### Error updating database.  Cause: java.sql.SQLIntegrityConstraintViolationException: Duplicate entry '1122-zhangsan' for key 'idx_no_name'

在MySQL中有4种方法可以避免唯一索引冲突

(一)导入差异数据,忽略重复数据,IGNORE INTO的使用

(二)导入并覆盖重复数据,REPLACE INTO 的使用

(三)导入保留重复数据未指定字段,INSERT INTO ON DUPLICATE KEY UPDATE 的使用

表 test1

1、insert ignore into

INSERTIGNORE语句可以在插入数据时忽略唯一索引冲突的错误,而不会中断插入过程。

如果插入的数据存在唯一索引冲突,那么MySQL将忽略该行的插入操作,继续插入下—行数据。

INSERT IGNORE INTO table_name (column1, column2, ...)
VALUES (valuel, value2, ...),...

2、replace into

REPLACE语句可以用于插入新行或替换已存在的行。

如果存在primary or unique相同的记录,则先删除掉。再插入新记录

如果插入的数据存在唯一索引冲突,那么MySQL将删除已存在的行,并插入新行。

这种方法就是不管原来有没有相同的记录,都会先删除掉然后再插入。这意味着插入操作总是成功的,但可能导致数据丢失

REPLACE INTO table_name (columnl, column2, ...)
VALUES (valuel, value2, ...),...

3、on duplicate key update

当primary或者unique重复时,则执行update语句,如update后为无用语句,

如id=id,则同1功能相同,但错误不会被忽略掉。例如,为了实现name重复的数据插入不报错,可使用一下语句:

INTO table_name (columnl, column2, ...)
VALUES (valuel, value2, ...),...
ON duplicate KEY UPDATE id = id

这种方法有个前提条件,就是,需要插入的约束,需要是主键或者唯一约束。

4、insert … select … where not exist

根据select的条件判断是否插入,可以不光通过primary 和unique来判断,也可通过其它条件。例如:

INSERT INTO books (name) SELECT 'MySQL Manual' 
FROM dual 
WHERE NOT EXISTS (SELECT id FROM books WHERE id = 1)

这种方法貌似写这很繁琐

INSERT INTO order (orderId ) VALUES
SELECT '500002' FROM DUAL WHERE NOT EXISTS (
SELECT * FROM order WHERE orderId='500002'
)

你可能感兴趣的:(mysql,数据库)