JAVA数据批量插入场景问题 （一） 去重解决方案

目录

一、批量插入常用场景举例

二、为什么需要去重

三、开发建议

四、去重方案举例

---

一、批量插入常用场景举例

• Excel数据导入
• 数据批量同步
• 业务操作批量提交
• ....

二、为什么需要去重

• 业务需要，业务脏数据无意义。
• 降低风险，脏数据可能会带来的程序的错误。
• 方便运维，脏数据积累会提高运维成本。
• 方便开发，不管是开发还是二次开发，干净的数据往往都是我们最想要的。
• ...

三、开发建议

• 了解业务，从需求分析阶段了解业务上的数据唯一性，在详细设计阶段约定数据唯一性。
• 为表建立唯一索引约束条件，对于触发约束条件场景进行了解分析。
• ...

四、去重方案举例

场景描述一：

我们开发的系统需要调用A系统一个数据接口，接口提供列表数据，数据需要批量入库，入库时发现报数据库唯一约束异常，假定A系统不给我们去重，我们需要自己进行去重，该怎么解决？

通过hashset进行对象去重（持久层用的mybatis）

关键代码：

1、对插入对象重写hashCode 和equals方法

@Override
public int hashCode() {
    log.debug("hashCode:" + this.uniqueStr);
    //-- 对约定的唯一条件生成hashCode （可多个条件组合）
    return this.uniqueStr.hashCode();
}
@Override
public boolean equals(Object obj) {
    log.debug(this + "---equals---" + obj);
    
    if (obj instanceof TestObj) {
        TestObj testObj= (TestObj) obj;
        //-- 根据约定条件进行对象是否相同比较
        return this.uniqueStr.equals(testObj.uniqueStr) ;
    } else {
        return false;
    }
}

2、解析A系统接口使用HashSet集合保存数据

//--调用A系统接口并转换成对象
List testObjAList = webserviceA.findTestObjAData();
Set testObjSet=new HashSet<>();
//转换对象
for(TestObjA testObjA:testObjAList){
    TestObj testObj=new TestObj();
    testObj.setUniqueStr(testObjA.getUniqueStr());
    testObjSet.add(testObj)
}
//--批量入库
testObjMapper.insertBatch(testObjSet);

大量数据通过临时表进行数据去重