大数据的监控和数据准确性保证

我们目前的数据流程是：数据源数据 经过挖掘处理转换等操作生成中间数据，入宽表 ，然后 提取宽表数据 入PDC，数据停留的地方有 数据源–>中间数据–>宽表–>PDC。

目前我们的监控措施如下:
（1） 数据源 –>中间数据–>宽表 每个数据流有监控，监控的是每个数据的总量
（2） 每天运行监控 监控 宽表每个数据的变化
（3） 宽表–>PDC有对最终每种数据总量的监控 和 对 数据的简单校验（如 太大的数据，太小的数据，数据解密异常等的校验）

虽然在总概上能够保证数据的准确性，但是具体到每一个数据的准确性上需要加强，目前想到的加强措施如下：
（1）针对得到的PDC数据，另起一套代码反向匹配校验 宽表 和 数据源 数据。
（2）加强Code Review，确保代码逻辑不出问题；加强沟通，确保对数据的处理理解不产生歧义。
（3） 开发一套注重隐私安全的简单校验系统，让每个人能够核对一下自己的PDC数据，以发现 数据挖掘 的不足，并进行优化。