人工智能技术在数据治理中的一些思考

目录

一、企业数据治理面临的三个挑战

二、人工智能大发展背景下数据治理的三点思考

其一、从企业全局视角通盘规划基于人工智能的数据治理体系

（1）数据采集方面

（2）数据入库方面

（3）数据治理方面

（4）数据应用方面

（5）数据退网方面

其二、数据治理模式采用传统、人工智能相融合的治理模式，重点突破

第三、通过人工智能建设长效的数据治理机制

三、小结

---

   

  随着企业信息化系统的快速建设，以及物联网的规模化的应用，企业数据规模快速增长，与之同时企业数据的治理模式仍然以传统的治理方式为主，ChatGPT等人工智能的崛起正深刻改变着数据治理的思路，如何将AI技术引入企业数据治理中，提升数据治理水平和数据质量，赋能企业发展，是后续数据治理研究和探索的主要方向，抛转引玉。

一、企业数据治理面临的三个挑战

       首先企业对体系化的数据治理方案有着迫切的需求，希望通过数据治理解决企业在数据质量、数据融合、数据应用中由于数据的原因造成的影响；其次是期望通过科学的治理方案，解决数据治理难题，数据赋能，降本增效；最后是在技术层面，通过模式创新，如引入AI技术等，建成企业可迭代的、长效的数据治理底座，提升数据治理水平，确保数据的质量、安全性和合规性，同时提高数据的可用性和业务价值。

二、人工智能大发展背景下数据治理的三点思考

        人工智能模型通用性的增强和交互方式的简化、实施成本的降低，可以预见人工智能将在数据治理中发挥更为重要的作用，让人工智能成为智能伙伴，为数据治理策略的制定提供更为智能化、科学化的建议，让数据治理将逐渐向人工智能主导、人工辅助的模式演进，实现更高效、自适应的数据管理。

其一、从企业全局视角通盘规划基于人工智能的数据治理体系

        数据治理要在传统的模式下有创新与突破，不能只关注数据的收集和存储，而是要从数据的采集、入库、治理、应用、调整和退网等数据全生命周期规划数据治理体系，数据治理的范围不再局限于属性与实体关联关系等传统的数据对不对、全不全、准不准的治理思路，而是进一步借助AI人工智能的能力从数据视角挖掘数据对生产的驱动力。

（1）数据采集方面

       对实时数据质量进行监控，借助AI分析实时数据质量，提前发现并纠正数据质量问题，把好数据采集关；通过智能化采集策略，利用AI技术识别和收集捕获多源数据，如图像、音频、图片等，提升数据收集效率。

（2）数据入库方面

依托元数据管理能力，利用AI追踪和管理数据的元信息，提高数据可理解性和可发现性。建设自动化入库能力，利用AI优化支撑数据入库，自动进行清洗、去重和标准化，确保数据入库的高质量和一致性、自动化。

（3）数据治理方面

探索智能化质量管理方法，AI分析数据，识别和修复潜在的数据质量问题，确保数据的准确性和完整性。在安全与隐私方面，利用AI识别潜在的安全风险和隐私问题，并制定智能安全策略，确保数据合规性、安全性。

（4）数据应用方面

借助AI技术进行数据智能分析与挖掘，提供深度洞察和预测性分析；利用AI为用户提供个性化的数据应用建议，提高数据的实际应用价值。

（5）数据退网方面

        利用AI自动识别和清理不再需要的数据，确保数据退网的高效和安全；借助AI进行数据退网的合规性审计，确保符合相关法规和政策。

        数据治理要全覆盖，坚持应用驱动数据质量提升，促进应用与数据的融合发展，理顺数据在生产全流程中的顺畅流动，通过人工智能技术提升、数据质量赋能企业发展。

        典型的应用场景如对运营商网络资源数据全生命周期的体系化治理方案，从网络资源规划、建设、入网、调度以及退网全程端到端，通过在各个治理维度中针对性的引入AI人工智能力能，预期可大幅度提升数据质量，进而提升网络利用率，识别网络隐患与风险，并有效保障网络运维与业务开通可靠运行。

其二、数据治理模式采用传统、人工智能相融合的治理模式，重点突破

        人工智能对数据治理的影响越来越明显，这是行业的共识。如何提高了人工智能在数据治理中的应用并发挥更大的作用，使数据治理逐渐转向人工智能主导，人工辅助的模式。

        高质量的数据一直是人工智能成功的先决条件和瓶颈，但随着人工智能的发展，AIGC的出现减少了对大量数据样本的需求，形成数智反向融合的趋势，使得人工智能能够更好地理解、处理和分析海量的数据，从而减轻了人工处理工作量。随着模型通用性的增强和交互方式的简化，人工智能在数据治理中的作用将进一步扩大。

        企业数据治理中，通过典型的人工智能应用场景，重点突破后，进而全面推动人工智能在数据治理中的应用。

        结合运营商资源业务场景，举例说明人工智能在数据治理中的具体应用场景。

        在数据采集阶段，通过提供现场照片和视频，使用深度学习神经网络技术，如Yolo模型等，智能识别图片、视频等素材中的网络资源现场信息，进而自动识别入库。通过语音识别，结合大模型技术，采集语音上报的信息关入库。

        异常数据监测和检测技术，可以用于最难识别和治理的资源数据场景，如资源属性与关联关系都是正确的，但数据本身却是异常的，以前此类数据主要靠人工识别，但通过如支持向量机、K-Means等聚类算法，通过对数据进行分类、分割与异常检测，可以较好的解决上面的难题。

        网络资源规划方面，规划人员需要更多的预测规划资源的使用趋势，以便更合理的规划资源，满足在指定时间段内的资源需求。对于此类需求，可以通过对相似资源数据建立回归模型，如Linear Regression、Logistic Regression等，来预测资源数据使用趋势，满足对网络更合理的规划。

        对于海量网络资源数据检索方面，通过使用朴素贝叶斯，对资源中的文本信息进行分类、标注和检索，达到数据的快速检索目标。

        针对具体的场景和具体的数据，需要有针对性的选择最合理的模型与算法，达到数据治理的目标，也可以使用多种算法，综合、横向联动评估，提升数据治理水平。

第三、通过人工智能建设长效的数据治理机制

        人工智能支撑下的数据治理，通过这种治理模式的创新，如引入AI技术等，逐步建成企业可迭代的、长效的数据治理底座，提升数据治理水平，提高数据的可用性和业务价值。

        首先，通过引入AI技术，企业可以实现对大规模数据的自动化处理和分析。AI技术可以帮助企业识别和纠正数据中的错误或异常，从而提高数据的质量。此外，AI还可以用于实时监控数据的安全性和合规性，及时发现并应对潜在的风险。

        其次，通过建立可迭代的数据治理底座，企业可以持续改进和优化数据治理流程。随着业务的发展和技术的变化，数据治理的需求也会不断变化。因此，企业需要建立一个灵活的数据治理框架，能够快速适应新的需求和挑战。

        另外，通过提高数据的可用性和业务价值，企业可以更好地利用数据来支持决策和创新。数据的价值在于其被有效利用的能力。通过建立高效的数据管道和数据分析平台，企业可以更快速地获取和利用数据，从而为业务提供更准确的洞察和支持。

        总之，通过引入AI技术等创新模式，企业可以建立一个可迭代的、长效的数据治理底座，提升数据治理水平，确保数据的质量、安全性和合规性，同时提高数据的可用性和业务价值。这将为企业带来更好的竞争优势和发展机会。

三、小结

        综上，在面对企业新的数据治需求和传统治理模式的局限性时，引入AI技术成为提升数据治理水平和数据质量的重要途径。通过将AI技术应用于企业数据治理中，可以实现自动化、智能化的数据处理和分析，从而提高数据的准确性和可靠性。同时，AI技术还可以帮助企业发现潜在的数据风险和异常情况，提前进行预警和干预，保障数据的安全性和合规性。因此，探索如何将AI技术引入企业数据治理中，并将其与传统的数据治理方式相结合，是推动企业发展的重要方向。只有不断提升数据治理水平和数据质量，才能更好地利用数据为企业发展赋能，迎接未来的挑战。