【开发心得】记录一次同步记录脚本的编写过程。

前言:项目落地尾声，数据的持续同步是一个比较痛苦的问题，本身iptv领域有c1~c4四个数据传输协议，如果只是通过接口下发和接收来同步数据的话，倒还好说，主要问题在于，如何处理无法下发并且需要同步的数据。

数据同步步骤:

0.我方将新系统使用的数据导出，并且建议与就系统数据相关的关联关系表。

1.客户将旧系统使用的分类数据导出。我方拿到导出数据，建立关联关系。

2.客户持续导出分类与内容的编排关系到服务器的某个位置。

3.我方借助Java小工程(Springboot快速编写)。细节步骤:

        a.ftp拉取目标文件

        b.一次IO读取(数据量在5w左右)，使用List承接，借助工具类拆分数据为每1000条一组，避免一次插入造成大量的数据回滚和内存压力。

       工具类代码如下，切分List:

package com.bytue.ma_vod.modules.macenter.util;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

    /**
     *
     *
     * @param  泛型
     */
public class SubListUtil {

        private static final Logger logger = LoggerFactory.getLogger(SubListUtil.class);

        /**
         * 截取list集合，返回list集合
         * @param tList  (需要截取的集合)
         * @param subNum  (每次截取的数量)
         * @return
         */
        public static  List> subList(List tList, Integer subNum) {
            // 新的截取到的list集合
            List> tNewList = new ArrayList>();
            // 要截取的下标上限
            Integer priIndex = 0;
            // 要截取的下标下限
            Integer lastIndex = 0;
            // 每次插入list的数量
            // Integer subNum = 500;
            // 查询出来list的总数目
            Integer totalNum = tList.size();
            // 总共需要插入的次数
            Integer insertTimes = totalNum / subNum;
            List subNewList = new ArrayList();
            for (int i = 0; i <= insertTimes; i++) {
                // [0--20) [20 --40) [40---60) [60---80) [80---100)
                priIndex = subNum * i;
                lastIndex = priIndex + subNum;
                // 判断是否是最后一次
                if (i == insertTimes) {
                    logger.info("最后一次截取："+priIndex + "," + lastIndex);
                    subNewList = tList.subList(priIndex, tList.size());
                } else {
                    // 非最后一次
                    subNewList = tList.subList(priIndex, lastIndex);

                }
                if (subNewList.size() > 0) {
                    //logger.info("开始将截取的list放入新的list中");
                    tNewList.add(subNewList);
                }

            }

            return tNewList;

        }

        /**
         * 截取list集合，返回map集合
         * @param tList  (需要截取的集合)
         * @param subNum  (每次截取的数量)
         * @return
         */
        public static  Map> subListToMap(List tList, Integer subNum) {
            // 新的截取到的list集合
            //List> tNewList = new ArrayList>();
            Map> newTlsMap = new HashMap>();
            // 要截取的下标上限
            Integer priIndex = 0;
            // 要截取的下标下限
            Integer lastIndex = 0;
            // 每次插入list的数量
            // Integer subNum = 500;
            // 查询出来list的总数目
            Integer totalNum = tList.size();
            // 总共需要插入的次数
            Integer insertTimes = totalNum / subNum;
            List subNewList = new ArrayList();
            for (int i = 0; i <= insertTimes; i++) {
                // [0--20) [20 --40) [40---60) [60---80) [80---100)
                priIndex = subNum * i;
                lastIndex = priIndex + subNum;
                // 判断是否是最后一次
                if (i == insertTimes) {
                    //logger.info(priIndex + "," + tList.size());
                    //logger.info("--------------------------------------");
                    subNewList = tList.subList(priIndex, tList.size());
                } else {
                    // 非最后一次
                    //logger.info("最后一次截取："+priIndex + "," + lastIndex);
                    //logger.info("***************************************");
                    subNewList = tList.subList(priIndex, lastIndex);

                }
                if (subNewList.size() > 0) {
                    //logger.info("开始将截取的list放入新的list中");
                    newTlsMap.put(i, subNewList);
                }

            }

            return newTlsMap;
        }
}

        c.mybatis foreach分批导入，每次1000条，至于mybatis foreach的使用，网上有很多教程，也属于mybatis基础必备，请务必掌握。

        d.删除原来的分类与内容的关联关系。

        e.重新建立与分类与内容的关联关系。

        f.更新内容数据的状态。

        g.删除trigger.

        h. 删除重新关联的数据的审核记录。

        i.插入符合要求的审核记录。

        j.重新补全trigger. 

上述过程中有两个要点，一个是数据库的关联更新 和 删除语法，示例如下:

关联更新:

 update table1 p join table2 m on p.code = m.programcode
        set p.curcontaudit = 'end',p.examinetype = '2',p.acl_flowtype = '0',p.acl_logrejectflag = '1',examinetype='4'

关联删除:

  

 delete t1 from ma_vod_audit_circulation_log t1, temp_categorymapping2 t2
        where t1.id = t2.programcode
        and t1.beforetype = 'end' and t1.aftertype = 'xml_0'

另一个是，使用mybatis执行dml语句，比如 trunct 表和删除trigger,新增trigger，这个是可以直接支持的。

使用trunct要注意的是使用@update注解或者 update标签(xml)。