数据治理新里程：AI引领数据标准化之路

数据标准化：AI创新引领数据治理新风向

　　 近年来,尽管AIAgent实现了爆发式增长，但许多企业仍然面临着AI应用与实际业务脱节的难题。其中一个关键原因在于数据质量不佳。根据Gartner的预测，到2025年，中国至少三分之二的生成式人工智能项目将因为数据质量差而面临“终结”。 这一现象揭示了当前企业在AI应用中的一个普遍困境。尽管技术本身在不断进步，但在实际操作中，数据的质量问题仍然是制约AI发展的一大瓶颈。高质量的数据是确保AI模型准确性和可靠性的基础，而目前很多企业在这方面明显存在不足。因此，如何提升数据管理水平，提高数据质量，将是未来AI项目成功的关键所在。这不仅需要企业在内部加强数据治理，还需要行业内外的合作，共同推动数据标准的建立和完善。只有这样，才能真正实现AI技术与业务需求的有效结合，从而推动整个行业的健康发展。

　　 AI时代,如何才能抓住数据治理的机遇，使数据真正服务于业务？

　　 瓴羊「数据荟」数据MeetUp第3站在线上成功举办，为大模型时代的数据治理提供了新的思路和解决方案。阿里云智能集团瓴羊的高级技术专家周鑫以“AI驱动的数据治理”为主题，深入探讨了当前数据治理所面临的挑战，并指出了AI时代下的新机遇。他详细介绍了瓴羊Dataphin如何通过先进的技术和方法，在数据治理的关键环节实现效率提升。 这次分享不仅为行业内的专业人士提供了宝贵的见解，也展示了AI技术在解决复杂数据管理问题中的巨大潜力。通过引入AI技术，企业能够更高效地处理海量数据，提高数据分析的准确性和及时性，从而更好地支持业务决策。同时，这也提示我们未来数据治理的发展方向将是更加智能化、自动化，以及与业务场景紧密结合。这无疑为数据治理领域带来了新的思考和启发。

　　 数据标准:数据治理“化零为整”的核心

　　 从实施链路来看,数据治理为何如此困难?

　　 在数据治理的实施过程中，确实存在诸多挑战，主要表现在现状评估难、组织架构复杂以及实施成本高等方面。周鑫指出，这些问题的根本原因在于整个治理过程中关注点太多，缺乏一个明确的核心抓手。大多数企业在进行数据治理时，通常会经历评估现状、设定目标、执行计划和持续监控这四个阶段，而每个阶段都需投入大量工作，导致治理过程显得十分零散。 这一过程中的确需要更多的聚焦和整合。虽然数据治理是一个复杂且多方面的任务，但通过确立一个清晰的目标和核心策略，可以更有效地推动整个流程。此外，建立一个高效的组织架构也至关重要，它能帮助企业在不同阶段间建立起有效的联系，从而提高整体效率。只有这样，才能在控制成本的同时，确保数据治理的有效性和可持续性。

　　 这些零散的需求点,导致企业在实施阶段很容易偏离治理目标,缺少一个核心抓手。即使艰难地完成治理,后续迭代也非常困难,随着业务的变化,需要调整治理目标时,没有办法增量的迭代,又需要重头开始评估执行,已完成的治理项的变更影响也需要全量评估,使得治理成本变得非常高。

　　 因此,问题的关键,是找到数据治理的核心抓手――数据标准。

　　 近年来,国家多次发布数据标准相关政策法规，从《“数据要素x”三年行动计划》到构建国家数据标准体系，再到成立全国数据标准化技术委员会，均凸显了数据标准的关键地位。

　　 “企业只要完成了数据标准的梳理，就能完成大部分的数据治理工作。”周鑫表示，以瓴羊Dataphin为例，企业在完成业务和数据的盘点之后，会统一进入DataCatalog，在此基础上进行数据标准的梳理。Dataphin在建立数据标准的过程中会自动生成元数据和内容的监控，这些数据标准将会贯穿数据的整个生命周期，从而实现对数据的事前、事中和事后的标准执行与审计。

　　 例如,在身份证号的标准设定中，系统会依据用户提供的标准属性，自动创建一系列元数据和内容监控，并实施安全分级。用户在管理过程中，只需关注那些未达到标准的数据。这使得数据标准的采纳情况成为评估数据质量好坏的“晴雨表”，符合数据标准的数据量越大，数据质量也就越高。

　　 AI激活一池春水,数据治理的提效之道

　　 AI时代的迅猛到来，激发了数据治理的新一轮热潮。在当前AI技术飞速发展的背景下，数据治理又将迎来哪些机遇？

　　 周鑫认为,通过AI实现完整的主动数据治理，以提高数据治理的效率，主要包括以下几点。

　　 首先,通过人工智能技术，我们能够高效地理解和处理结构化与非结构化数据，从而实现业务流程的自动化梳理，并显著提升数据标准化建设的效率。在数据标准建立之后，企业可以利用AI来实施自动化的数据治理工作：例如构建质量控制规则，实现数据的分类分级以及特征识别，同时管理数据从生成到消亡的整个生命周期。最终，在完成数据治理活动之后，AI还能够自动评估治理的效果，并据此自动调整和优化治理策略，从而形成一个良性的数据治理循环。 这种通过AI实现的数据治理方式不仅极大地提高了工作效率，还降低了人为错误的可能性，使得数据治理变得更加精准和高效。此外，这样的系统化方法有助于确保数据在整个生命周期中的质量和安全性，为企业决策提供更加可靠的支持。然而，我们也应该注意到，尽管AI在数据治理方面展现出了巨大的潜力，但其成功应用仍然依赖于良好的初始数据管理和合理的规则设定。因此，在部署这类解决方案时，企业仍需注重人才培养和技术积累，以充分发挥AI的优势。

　　 Dataphin解决方案:让“好数据”成就“好业务”

　　 “我是电商业务负责人,今年大促目标是GMV提升20%,数据能帮我做什么?”

　　 我正筹备进行外部推广工作，特别是针对母婴群体的定位。希望能通过数据分析与知识库相结合的方式来进行，对此有何建议？

　　 我是负责产品运营的员工，想了解关于产品销售目标的定义是什么？

　　 ……

　　 在AI的助力下,以上数据资产应用问题,都可以通过对话的方式得到回应。

　　 而承载这一功能的平台,便是智能小D。

　　 “智能小D承担了数据PD与数据架构师的角色,它可以根据每一条策略,找到与之对应的数据资产表”,周鑫表示,智能小D基于Dataphin打造,由阿里云百炼平台和开源Dify提供支持,擅长数据知识的梳理和应用。未来,智能小D将进一步支持非结构化知识和智能体管理,用户还可通过挂载自定义智能体,实现智能体的个性化定义与功能拓展。

　　 借助智能小D,用户可以直接基于业务需求找数据,如“我要找客户表”、“我要做客户分层,需要哪些表?”、“销量下降明显,可能的原因有哪些?”等,大模型将根据用户需求,通过分解、联想等方式,为其快速提供对应的数据资产表,让用户无需将需求拆解成资产的关键词,也能实现轻松找数。

　　 除此之外,Dataphin在属性丰富方面引入了AI技术，简化了资产上架的流程。过去，一张表要上架到目录，需要经过以下几步：逐一描述表及其所有字段的名称和含义；熟悉上架目录，并为其制定便于搜索的标签；如果在过程中发现表中的某些指标也需要上架，还需要返回重新填写目录和标签。

　　 周鑫指出，“面对包含数百个字段的表格，手动上架通常需要至少半小时的时间。然而，在引入了AI技术之后，我们能够将这个过程的速度提高近百倍。”他补充说，Dataphin能够帮助用户智能生成所有描述，规划所有目录，并自动识别潜在指标。在用户确认无误后，只需一键操作，便能在几十秒内完成所有资产的上架工作。

　　 在特征识别方面，Dataphin通过引入AI技术，降低了识别难度，提升了识别效率。比如，在处理性别字段识别时，传统方法需要编写SQL可识别的正则表达式，并且还要检查多种数据格式，如（男/女、Male/Female、Sex/性别），这往往难以一次性涵盖所有情况。而借助AI能力，Dataphin能够自动生成全部所需的正则表达式，在几十秒内就能完成一次特征识别过程。

　　 周鑫指出,当前，Dataphin的数据治理AI计划正处在提升效率的关键阶段。在此期间，Dataphin将引入更多行业及业务领域的专业知识，以增强其对非结构化数据的解析能力，并辅助制定质量规则。随着这一阶段的结束，数据治理将进入自动化阶段，届时平台将能够自动创建质量规则、自动进行分类分级处理以及自动识别敏感数据等功能。最终，在更高级别的智能化阶段，Dataphin将通过对业务流程的深入理解，实现系统自动制定数据标准，从而全面提高数据治理的智能化程度。

　　 瓴羊旗下Dataphin在数据治理方面有着深厚的积累，并且将继续致力于将数据治理融入企业的核心业务流程中。未来，Dataphin将努力推动数据治理从一个独立的项目转变为业务运作的关键部分，使其从一种支撑性的工具发展为驱动企业战略决策和创新的核心力量。通过采用智能化手段，Dataphin将帮助企业更好地理解和利用数据资源，从而实现更高效的战略规划和创新实践。 这种将数据治理深度嵌入到企业运营中的做法，无疑会极大地提升企业的竞争力。在当今数据驱动的时代，能够有效地管理和利用数据的企业将在市场中占据更有利的地位。Dataphin的这一战略不仅符合行业发展趋势，也为企业提供了一条清晰的发展路径，即通过强化数据治理来促进整体业务水平的提升。这表明，企业若想在未来的市场竞争中脱颖而出，就需要更加重视数据治理的重要性，并将其作为战略发展的关键组成部分。