一站式大数据治理解决方案
所谓元数据就是指描述数据的数据或关于数据的结构化数据,是描述数据属性的信息,是数据固有的属性,定义了数据的结构和背景信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能,元数据主要有三类:业务元数据、技术元数据、管理元数据。
元数据的分类
举例来说,在图书馆的图书管理中,书籍的书名、作者、出版日期、ISBN等信息都是图书的元数据,这些信息能够帮助图书馆员和读者快速找到和识别图书。在数据治理中,存储着数据的描述信息,能够让数据更容易理解、查找、管理和使用。
如果没有可靠的元数据,组织就不知道它拥有什么数据、数据表示什么、数据来自何处、它如何在系统中流转,谁有权访问它,也就是说,没有元数据,组织可能根本无法管理其数据,所以需要对元数据进行有效的管理,元数据管理是对元数据的创建、存储、整合、控制的一整套流程,它能够帮助开发和业务人员快速了解数据上下游关系、数据本身含义,它可以精准定位需要查找的数据,减少数据研究的时间成本,提高工作效率。
元数据管理是数据治理工作的重中之重,在数据治理项目中,我们通常从以下几个方面推进元数据管理工作:
首先,就是要制定元数据战略,理解元数据需求、定义元数据架构。
1、制定元数据战略:制定元数据从当前状态到未来状态的实施线路,也就是制定组织应如何管理其自身元数据,如评估现有元数据资源和信息架构和制定未来开发的元数据架构。
2、理解元数据需求:明确需要哪些元数据和哪种详细级别,包括数据的更新频次、同步情况、历史信息、访问权限、存储结构、集成要求、运维要求、管理要求、质量要求和安全要求等。
3、定义元数据架构:元数据管理系统必须具有从不同数据源采集元数据的能力,设计架构时应确保可以扫描不同元数据源和定期地更新元数据存储库,系统必须支持手工更新元数据、请求元数据、查询元数据和被不同用户组查询。
其次,就是要确定元数据范围、进行元数据接入、建立元数据标准、进行元数据维护。
1、确定元数据范围:确定需要进行管理操作的元数据范围。实际情况中,不一定所有数据都要做元数据管理。更多情况下,业务数据会被选择进行元数据管理,非业务数据(例如:备份数据、系统日志等)一般不会被纳入管理范围内,主要原因是,元数据管理能够帮助业务和开发人员快速掌握业务数据。
2、进行元数据接入:元数据一般是从源系统接入,如果企业已经拥有数仓,或对实时性要求不高,为了节约开发工作量、提升工作效率,会将已有的元数据从数仓接入,还未接入的从源系统接入。
3、建立元数据标准:为了保证元数据的完整性和一致性,当出现数据库或数据定义不规范的情况时,要建立元数据管理的规范和标准,反推前端源数据整改。同时,要对元数据进行权限管理,规范权限的管理流程(元数据的权限分层、元数据权限申请流程、元数据的发布流程、元数据的审核流程等)。
4、进行元数据维护:指对已发布的元数据进行管理和维护,如果需要对已上线的元数据进行调整优化,就必须重新通过元数据发布流程,不允许直接修改元数据。同时,成立元数据操作日志,记录所有元数据操作行为。
“五度易链”基于用户数据应用需求,结合数据实际应用场景,调研数据实际问题,以DAMA和DCMM数据治理体系为理论指导,以让数据增值为目标,从采、治、存、管、用五大方面构建数据治理体系,为用户提供一站式的数据治理服务,赋能各类实体业务应用,助力创新、突破及决策。
五度易链一站式大数据治理解决方案
推荐阅读:
「数据治理」核心专业术语解释!
「数据要素」行业简报2024.11.中刊
全位解读:“数据要素”的那些事!