业务数据清洗动手小心得

项目经理做小任务的思考

最近做个小需求，自己主动认领的。具体的需求是把系统中的历史数据刷成基于业务部门的新数据，大概几千条数据，量也不算特别大。但这些数据来自不同业务部门，需要跟十来个部门对接人一起沟通，各部门对接人工核实数据，拿到数据后反查该数据对应的数据唯一编号，确认完正确的数据进行洗数。

基本流程：获取原始数据－定位有问题的数据－部门同事确认数据－统一汇总数据－反馈异常数据－完成问题数据确认－数据清洗后验证。

每天晚上花一两个小时做，白天基本没有时间搞，到处沟通开会，靠谱项目经理的沟通占比70%以上，这个我完全同意。白天有对接部门相关同事咨询时，我基本考虑利用碎片时间支持。对新人进行单点电话沟通，介绍项目背景，需要做的事情，期望达成的时间，即时通讯、邮件、电话等多管齐下。

为什么我要做这件事情？主要原因有三个：其一，技术出身的项目经理，总想捣鼓下数据库和EXCEL啥的，以证明自己不止是个纯耍嘴皮子的人。

其二，想借此熟悉相关部门的组织架构，和对应这部分的业务，算是自己业务精进的小部分，动手学到的东西比较难以忘记。

其三，想跟业务对接同学搞好关系，增加互动，以便后期合作，靠谱的我，期望能赢得这个靠谱业务方的持续支持。

过程中不停跟产品技术和业务部门对接人沟通，收集EXCEL，整理EXCEL，麻烦映射表格，发现部门问题数据，修复确认。真正捣鼓数据库比较少，很多时候用到VLOOKUP的强大功能，从A表通过关键字去B表某个位置查找数据，拷贝计算出的数据，EXCEL技巧本身不算强大的我，拖拉发生错行，匹配出NA也是蛮常见的。虽然过程比较忐忑，个人觉得最终还是达到了熟悉这一部分业务的简单目的，期望业务方也能满意。

过程中的一些经验和教训，虽然不是很大，但对细节极其敏感的我来说，还是需要积累总结，以便可以做得更好：

第一，部门对接人比较多，一开始就发高优先级邮件和即时通讯消息要求对接人按邮件要求做事情。可能春节期间有人没看邮件，有人请假找人代理，后续可以考虑集体加单个人确认的方法，确保相关部门同学都通知到位，可以的话可以方面安排一次串讲－背景和要做什么事情。

第二，截止日期其实给出去有点晚，因为考虑到春节的原因，可以稍微提前点。跟业务对接人先就最晚时间达成一致，同时考虑到拿回数据整理也需要一段时间，所以倒排期需要综合考虑，很多时候不收集回来就可以的，还得不断反馈和修改，就如同项目上线后需要验收一样。

第三，以终为始的做事方法，最终把有问题的数据拿出来洗数，那就是针对这些数据来说，其他数据只是参考。针对这批数据的处理，更好的方法是使用excel和数据库临时表比较高效，尤其是有多重查询的时候。需要一开始跟洗数的同学沟通好，看看怎样他们可以最有效地执行，按照这样的方向去工作会更有效。

第四，针对存在疑问的数据，可以跟相关业务进行沟通，先不洗数，抓大放小，保持现状。但需要持续跟进，有些小问题可能引发大规模讨论，需要留意，最后还是拉个其他产品技术一起，个人考虑不周也是个问题。

总之，不同干系人根据其性质管理采取不同策略，项目经理需要考虑协调人的能力，多跟关键干系人交流互动，确保沟通及时、到位、到点，以始为终，不要逞强，需要留有余地。争取下次你可以做得更好！！