//  摘 要

前言

｜  软技能与硬技术

｜  中台能力拆解

数据编目

数据目录可以有多个层级结构分类：对于原始数据，可以按资源属性编目，例如业务系统-数据库-数据表的结构；对于加工过的数据或者业务方需求的数据，可以按提供部门、主题、专题进行编目。

数据编目是企业内部的全员事项，数据的业务归口部门、各负责人都要对数据的物理属性、逻辑属性、业务属性、管理属性以及流通属性进行定义。

• 物理属性描述数据的来源系统、存储位置、数据大小、更新时间等客观的数据状态
• 逻辑属性描述数据结构、编码格式等便于系统、用户解析数据的定义
• 业务属性描述数据的业务信息、目录分类、标签等让人快速了解并获取数据内容
• 管理属性描述数据的负责人、级别、使用权限等管控数据信息
• 流通属性描述数据能够被内部、外部系统使用的条件与形式

数据目录伴随企业数据治理的推进，也在持续发生变化。如何管理控制数据目录的版本、与组织架构协同，以保证各数据需求方能够使用实时有效的数据，也是数据管理者考虑的重点问题。

编制数据目录

数据存储

• 数据仓库

数据仓库是批量计算时代的产物，主要提供了历史数据的数据存储、清洗、加工能力，核心使用场景在商业智能（BI）分析。因此数据仓库只提供结构化数据存储，任何数据进入数据仓库都要处理为结构化数据，整个数据应用场景就收窄了。数据仓库的存储与计算一体化架构，要求企业在数据计算之前先进行数据同步动作，这样导致数据的时效性降低，对实时分析决策场景满足度也有较大影响。

• 数据湖

数据湖可以实现存算分离的数据架构设计，这也是与数据仓库技术上最大的差异。数据湖在构建时，业务方可以根据数据的使用频率决定是否将数据同步到数据湖中。如果数据是经常使用的“热”数据，可进行物理入湖；如果是不常使用或者不是用的“冷”数据，则只需要虚拟入湖即可。通过数据目录与数据物理存储位置（主要是在业务系统中）建立关系，在使用时同步，甚至使用时处理、计算，将结果加载到数据湖中，供应用使用，是更科学、成本更低的数据计算方案。

除了结构化数据，非结构化数据也可以入湖并提供资产价值。基于虚拟、物理入湖的两种方式，非结构化数据可以选择原始文件入湖，也可以选择将文件解析入湖，根据不同的场景，选择不同的方式。

本期分享就到这里，下期我们将围绕数据资产化、资产服务化、服务业务化三个方面来为大家解读。