处理大数据量的导出/导入文件问题

问题描述

  • 前段时间遇到一个需求是需要做大数据量的excel表格导出/导入(基本是几十万行的数据量)
  1. 首先ajax请求就会出现超时现象
  2. loading时间过长,用户体验也不好(一些用户可能中途F5刷新,或者登录超时等情况,会导致这一次导入/导出结果失败)

问题解决方案的摸索

  1. 直接把ajax的超时以及服务器超时加大(tips:记得服务器那边的超时要加大,一般是nginx服务器),默认超时为1min加大为10min,这个方案也存在体验问题和性能问题,所以废弃了
  2. 首先数据量大,后端处理的时间也很长(导出涉及到各种表的查询/导入的话要做表格行的校验等等),所以后端性能方面也要优化(从原本20min优化到7-8min)
  3. 配合后端通过WebSocket通信处理,最终解决方案

方案讲解

  1. 首先前后端一起约束好使用WebSocket来做交互
  2. 为上面的返回结果新建一个专门的页面,里面就是上面导入/导出的结果列表,记得要有当前导入/导出状态(未生成/已生成),然后可以在这个页面下载结果(后端已经把文件生成好了,不用再进行运算查表等相关操作,直接下载的速度是很快的)


    在这里插入图片描述
  3. WebSocket交互方面 ,点击导入/导出的时候立刻返回结果(无论成功或失败),可以弹一个Notification 通知提醒,里面信息为导入/导出进行中,然后给一个链接用于跳转到导入/导出文件页面;然后处理结果完后WebSocket再通知前端弹出Notification 通知提醒成功,内容和上面同理显示


    在这里插入图片描述

你可能感兴趣的:(处理大数据量的导出/导入文件问题)