如何构建一套高效完整的数据治理体系？| DEEPNOVA技术荟系列公开课第六期

当数据成为企业重要的资产，如何通过高效的数据治理体系驱动企业决策，成为很多企业研究的重要课题。其中，数据标准作为数据治理工作的基础内容，既是企业进行数字化升级的根基，也与企业数据治理的各个领域相关；而数据质量作为数据资产价值几何的重要指标，其管理已经成为数据治理的核心。

因此，企业只有妥善地解决数据标准和数据质量问题，才能更好地发挥数据价值，实现收益最大化。为了帮助企业更好地进行数据治理，近期DEEPNOVA联合DataFun共同推出第六期技术荟系列公开课。此次公开课中，滴普科技TSDT总经理谢辉带来《数据标准和数据质量》主题分享，详细解析数据标准和数据质量的技术架构及解决方案。

数据标准和数据质量概念和框架

1、国内外对于数据标准的定义为何不同？

图1

一直以来，业界对于数据标准的定义非常模糊。国际数据管理协会DAMM关于数据治理的概念划分并没有数据标准（图1左示图）；而国内DCMM的数据能力框架里却有数据标准一项（图1右示图）。那么，为何会出现这样的差异呢？

首先，可以先看国内权威机构对于数据标准的定义。以中国信通院发布的《数据标准管理实践白皮书》的内容来看，数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。对于企业来说，数据标准就是对数据的命名、数据类型、长度、业务含义、计算口径、归属部门等定义一套统一的规范，保证企业各业务系统对数据的统一理解、对数据定义和使用的一致性。

而全国信标委大数据标准工作组发布的《数据管理能力成熟度评估模型》中，指出数据标准是数据的命名、定义、结构和取值的规则，是组织数据中的数据规范和基准(业务含义、技术表达)，这也是DCMM里关于数据标准的定义。

中国人民银行发布的《银行数据标准定义规范》中，认为数据标准是对数据的表达、格式及定义的一致约定，包含数据业务属性、技术属性和管理属性的统一定义。

也就是说，从国内对于数据标准的定义内容来分析，无论是DAMM对于数据治理的框架分类，还是DCMM对于数据标准的定义，二者对于数据标准都有相似的内容描述，只是被划分为了不同的车轮图框架而已。

图2

举例来看，广义上的数据标准包含处理标准相关的制度流程、组织保障，也包含业务术语、主数据、参考数据，因此在对数据标准分辨时需要分辨所描述的是广义的标准还是狭义的标准。对于国外的企业而言，不会直接去定义比较大范围的如数据标准这样的词语，而是映射到业务术语、数据字典、数据元、数据项这些内容（如图2所示）。

回到最初提出的问题，通过一系列分析可以得出答案：国外对于数据标准的概念与DCMM中定义的数据标准，是可以相互进行映射的。譬如，国外的业务数据对应的是DCMM中的业务数据的标准，数据字典关联到国内的主数据、参考数据、数据源的相关标准。

因而，就数据标准的核心内容来说，根据DCMM以及中国信通院公布的数据标准，可以大致分为业务术语、数据元标准、主数据标准、参考数据标准、指标数据标准。

当然，企业若想要评估数据标准的成熟度，可以从数据标准存在或影响力、数据标准的完整和清晰、数据标准发布和传播到位、数据标准管理和变更流程、数据标准执行五个维度进行评估，进而帮助企业更好地统一数据标准。

2、数据质量主要包含哪些考量维度？

根据中国信通院的定义，数据质量指在特定的业务环境下，数据满足业务运行、管理与决策的程度，是保证数据应用效果的基础。

就如何考量数据质量，谢辉指出可以从数据真实性、数据准确性、数据唯一性、数据完整性、数据一致性、数据关联性、数据及时性七个维度进行。通过有效的数据质量控制和数据管理，可以消除数据质量问题，进而提升企业数据变现的能力。比如，滴普科技数据分析平台DataSense，能够帮助企业沉淀标准的专业服务和数据资产分析场景库，保证数据口径的一致性，提升数据资产的完整性、准确性、一致性，用数据驱动业务增长和发展决策。

数据质量的管理包括事前防范、事中监控、事后治理，可以将发现的数据质量问题及解决经验记录在数据质量管理支撑工具中，为后续的数据质量治理提供依据和借鉴。对于数据质量效果，则可以从数据质量管理流程、数据质量规则落地和识别、数据质量监控范围、数据合规四个关键维度进行评估，从而及时地、完全地解决数据质量问题。

当然，在实现数据标准和数据质量统一的过程中，组织保障起着非常重要的作用。就此，谢辉针对初创企业、大型企业、中小企业三种组织形态，提出了不同的数据管理组织架构、数据决策组织、数据管控经营体等数据管控方式，帮助企业更好地建设数据管理体系。

数据标准和数据质量的工具和技术支持

针对数据质量和数据标准建设中的工具和技术能力，谢辉从五方面进行了介绍：

1、数据标准的数据元管理

数据元管理，主要是可以约束它的名称、英文名称、标准版本、数据格式、来源关系等，将内容填充好之后，通过数据标准映射到具体的字段，得到对应的数据标准报告进行事后处理。

2、非结构化数据的数据标准

针对非结构化数据，可以在其业务场景中提炼出关键数据，与客户数据进行融合，再以数据服务的方式为业务所用。对于非结构化和半结构化数据，可以将其转换为结构化数据进行数据标准管理。或者可以对非结构化数据资产进行智能化标签标识和管理，提高搜索灵活度和数据资产的业务易用性。

3、数据标准的映射

参考国家标准、行业标准、集团标准及企业事实标准，以智能化手段构建企业统一数据标准；应用智能化的手段实现对历史数据的自动映射和双向翻译，达到数据标准的映射。

4、主动数据治理

大多数项目是企业先找厂家做数据开发建设，做完后发现数据质量有问题，再找数据治理厂家做数据治理项目。而滴普科技数据治理开发平台DataFacts可以将数据开发与治理一体化，在开发环节同时把治理动作执行到位，保证数据质量。

5、数据目录

提供企业级的数据目录，譬如，Data Catalog是组织中所有数据资产的详细清单，使用元数据来帮助组织管理他们的数据，旨在帮助数据分析师、数据科学家、数据工程师等专业人员快速找到最适合任何分析或实现业务目的的数据。

案例实践

依托对数据标准和数据质量的深入研究，滴普科技进行了大量实践。以某个企业数据标准建设案例为例，该企业希望实现数据资产化，让数据能够统一的存储和计算，利用一套先进的数据架构，打通各个业务单元，进而实现数据化运营，让一切数据业务化。

为此，滴普科技为该企业构建了数据治理体系，满足了不同用户的需求：第一，优先满足业务用户需求，响应快速查找数据、数据可定义，打通业务之间的主数据，形成统一的标准；其次，满足管理用户需求，响应数据易管理，实现数据质量的统一，让数据可追溯，也可查异常；最后，满足开发用户需求，响应数据易访问，防止数据的泄露。通过数据治理体系的建设，让数据指标本身能够洞察业务，进而驱动数据价值变现。

目前，滴普科技已为众多企业用户构建企业数据资产管理体系，让数据标准和数据质量服务业务，提升了业务效率，让业务人员自助式地进行数据分析、数据探索，实现数据驱动创新。

DEEPNOVA 开发者社区作为面向技术开发者的交流学习、生态共创平台，未来也将继续以建立技术生态、合作共创为宗旨，持续激发社区创新力，为开发者们提供更加前沿的技术思想及技术内容，交流共享，开拓技术视野。

关注DEEPEXI视频号，观看直播回放

资料下载