数据质量管理：过程管理

编者语：这篇文章最早刊登于2002年MIT的ICIQ会议的会刊上。我们在这里添加了一些能反映出Tom近期关于过程管理的重要性和在应用上困难程度等思想的新内容。原作者：Thomas C. Redman, Ph.D.

在过去的20年里，我的工作是为组织解决数据质量项目中出现的问题，经验表明，企业内部普遍存在低劣的数据质量。我们常常发现，数据会出现各种问题，如数据不精确，数据过期，缺乏有效性验证，数据与任务无关，数据难以解释，或者数据不适合使用等等。
几乎在所有情况下，下面这两种情况都可能会成为企业出现低劣数据质量的根本原因：
→数据生产者，也就是数据的来源，不明白重要数据客户的需求。
→数据客户，即使用数据的人，不明白数据代表什么意思。
换句话说，数据生产者和数据客户之间缺少沟通甚至沟通不存在。工作中，常听到类似这样的话：“我们不知道谁会关心字段内容，所以系统允许我们输入什么就输进去了。如果我们知道数据客户需要什么样的数据，我们很愿意让他们获得他们想要的内容”。
过程管理可以有效地缩短沟通上的差距，然而实施过程管理困难重重，要使其成为现实，没有魄力的人是做不了的。

过程管理的重要性
这种经常沟通上的脱节使我得出一个结论：就是在组织和组织之间、部门和部门之间由于缺乏有效沟通，数据质量就出现了一个空白区，导致数据质量问题。另外我发现，如果大多数部门的员工对工作有一个更好的了解，他们可以努力地把工作做好。
不幸的是，许多人没有把自己视为整个组织的一部分，也没有考虑到后续的部门和个人会使用到他们的工作成果。例如，A部门可能只是单纯的生产B部门需要的数据，却不知道E部门甚至更远的数据下游使用者也需要这份数据。这就可能会出现差异，数据生产者不知道错误数据给使用者带来的痛苦，特别是当这种错误暴露在外部客户面前的时候。
不管是跨部门还是跨组织，过程管理在解决数据质量空白问题上都具有非常卓越的能力。它明确B部门和E部门的数据需求，并知道A部门生产了这些数据，更能识别出B、E的数据需求是否得到了满足，因此可以通过过程改善以缩短沟通上的差距。所以，过程管理带来的改善是迅速而持久的。
再严格一点说，过程管理不单单是数据质量管理意义上的大思想，而是具有普遍管理意义上的大思想。因为这种过程管理是跨部门的、能为企业创造价值的流程，我称之为Big-P过程。再大的组织也不会超过十几个过程。举个端到端流程的例子，器件工厂引进原料进行生产，制造出器件产品，包装并交货，并确保产品与客户订单一致。“器件生产”的流程和数据要求订购正确的原材料，使生产部件达到客户的需求规格，最后再把产品交付到正确的客户手里，完成适当的财务处理，分析器件消费趋势。所有的这些活动交织在一起并同时管理。过程管理推动信息技术的部署获得成功。特别是，好的定义和管理的过程能成功地实现自动化，扩大企业规模，逐步降低企业成本。
糟糕的定义或者管理过程会产生不良的后果，那么组织在规划企业系统或者大规模的数据仓库/分析项目时，就会变得愈加危险。

过程管理中的挑战
过程管理的实现也许十分困难，原因有很多：
→对中层管理者来说，过程管理是个威胁。因为他们害怕失去对团队的控制。 
→学生们没有学习过过程管理，但是当有大量的成熟理论可供参考，而领导者们则必须边走边学习各类特殊情况。
→在许多人的认识里，过程管理和重组的概念是成对出现的，重组已经成为“裁员”的同义词了。 
参与并领导过程管理的数据质量人士如果能意识到或者直接识别出潜在的风险，那么再好不过了。

展望
虽然过程管理很成功而且也很具有潜力，面对未来还有很多不确定因素。一方面站在悲观的角度，过程管理已经经历了整整一代并且发展仍然过于缓慢，或许还有些困难无法逾越。另一方面站在乐观的角度，我希望伴随着对数据重要性认识的日益增加，随着继续进行流水线科学管理，制造业质量管理，在历史进程的下一步，过程管理以互换部件出现。 
由此看来，过程管理的渗透不可避免。源于信息时代的需求，特别是一些典型的公司在低质数据上的花销几近公司20%的收益，成本增长变得不容忽视。更糟糕的是，人们不可能把不恰当的数据投入到工作中以追寻信息时代引发的机遇。
作为一个现实主义者，我知道没有什么是预先规定好的。机会是留给那些果敢和具有前瞻性的组织的，他们通过如下规则来创建自己的优势：
→识别自身最重要的Big-P过程。
→在目前组织结构中深入全面的过程管理。
→联合各部门寻找机遇以推动明显简单的改善。
→扩大过程管理以增强企业信心并获得经验。

更为重要的是推动管理思想与实践的改革。通过以下提问，任何人都能在他/她的影响下继发过程思考：
→我做什么合适？
→我的客户是谁？他们需要什么？
→我的供应商是谁？我需要从他们那得到什么？
→我怎么改善每一个过程？ 
通过答案，我们变得更加有目标和更加积极。
MTC新浪微博：@MTC数据质量管理