处理大数据量的导出/导入文件问题

问题描述

• 前段时间遇到一个需求是需要做大数据量的excel表格导出/导入（基本是几十万行的数据量）

1. 首先ajax请求就会出现超时现象
2. loading时间过长，用户体验也不好（一些用户可能中途F5刷新，或者登录超时等情况，会导致这一次导入/导出结果失败）

问题解决方案的摸索

1. 直接把ajax的超时以及服务器超时加大（tips：记得服务器那边的超时要加大，一般是nginx服务器），默认超时为1min加大为10min，这个方案也存在体验问题和性能问题，所以废弃了
2. 首先数据量大，后端处理的时间也很长（导出涉及到各种表的查询/导入的话要做表格行的校验等等），所以后端性能方面也要优化（从原本20min优化到7-8min）
3. 配合后端通过WebSocket通信处理，最终解决方案

方案讲解

1. 首先前后端一起约束好使用WebSocket来做交互

2. 为上面的返回结果新建一个专门的页面，里面就是上面导入/导出的结果列表，记得要有当前导入/导出状态（未生成/已生成），然后可以在这个页面下载结果（后端已经把文件生成好了，不用再进行运算查表等相关操作，直接下载的速度是很快的）

   
   
   在这里插入图片描述

3. WebSocket交互方面 ，点击导入/导出的时候立刻返回结果（无论成功或失败），可以弹一个Notification 通知提醒，里面信息为导入/导出进行中，然后给一个链接用于跳转到导入/导出文件页面；然后处理结果完后WebSocket再通知前端弹出Notification 通知提醒成功，内容和上面同理显示

   
   
   在这里插入图片描述