什么是语义层及其在企业中的应用

过去十年间，许多组织经历了昂贵的数据迁移——将数据迁移到数据湖、数据仓库、现代数据栈或云端。然而，尽管进行了这些转变举措，许多企业仍面临无法解决的业务问题，包括：

• 相关数据分散，信息获取不及时，导致决策孤立化和缺乏全局视角；
• 业务意义和知识在昂贵迁移中丢失；
• 数据团队难以与业务、领域/内容所有者以及数据消费者有效协作；
• 复杂基础设施和专用平台使得建立一致或有意义的连接困难，进而导致供应商锁定及合规性、安全性和监管违规；以及
• 数据的速度和动态影响了对数据的信任及其演变过程的完整性，从而抑制了自动化和创新以推动企业人工智能的进步。

什么是语义层？它如何应对这些挑战？2020年，我首先通过一篇名为《什么是语义架构及如何构建一个》的白皮书详细阐述了语义层的概念。在2021年，格拉纳达称其为“数据编织阵列架构师”。

Baklib语义层解决方案，帮助企业构建门户网站、产品手册、帮助中心、知识库和在线文档等产品。我们的官网是：https://www.baklib.cn

语义层通过整合内容、业务术语表、信息架构 taxon、元数据和本体论知识图谱等关键组件，为数据提供上下文，从而实现跨组织协作和一致连接。

语义层的五个核心成分：

1. 访问（Access）：确保所有用户都能轻松访问所需信息。
2. 对齐（Alignment）：统一术语、目标和流程，消除信息孤岛。
3. 上下文（Context）：为数据提供背景，帮助理解其意义。
4. 分类（Categorization）：建立清晰的分类体系，促进知识共享。
5. 连接（Connectivity）：确保数据安全可靠地在各系统间传输。

通过语义层，Baklib帮助企业实现以下目标：

• 跨平台协作：统一术语和流程，促进信息共享。
• 一致连接：构建安全可靠的基础设施。
• 智能搜索：提升用户搜索体验。
• 创新驱动：推动企业AI发展。

Baklib语义层通过整合内容、业务术语表、信息架构 taxon、元数据和本体论知识图谱等关键组件，为数据提供上下文，从而实现跨组织协作和一致连接。

什么是语义层？

语义层是一个标准化框架，用于组织和抽象组织中的数据（结构化、非结构化、半结构化），并作为数据和知识的连接器。与更注重结构化数据的数据fabric不同，语义层将所有组织知识资产（包括内容项目、文件、视频、媒体等）通过定义明确且标准化的语义框架连接起来。它使组织能够在系统和应用中表示组织知识和领域意义，并定义内容与数据之间的关系。

具体来说，语义层： - 使数据对人类和机器都易于理解； - 基于业务或领域意义和价值捕获和连接内容与数据； - 合并并统一非结构化和结构化数据，以连接所有格式的数据； - 实现数据联邦和虚拟化。

语义层是企业关注重点发生明显转变的成果，并体现了认识到企业见解不是通过将数据物理上放置在同一位置（如数据湖）中来获得，而是理解数据在组织上下文中的意义以及其如何相关联这一认识的结果。

语义层的组成部分

语义层并不是一个单独的平台或应用程序，而是一个实现语义方法以解决问题的数据管理方式。它通过优化捕获业务意义和上下文，并设计为最终用户体验来实现可扩展性。一个可扩展的语义层包括以下组件之一或多个，以构建 today’s enterpri

语义层概述

元数据 最有效的方法是通过丰富并描述性数据（即元数据）来使数据集更容易组织、理解和管理。元数据在语义层中起着关键作用，因为它为底层数据提供了基本信息和上下文。这包括建立一个共同的方法，提供关于数据来源、标准化数据、数据元素之间的关系、安全和访问控制、版本、追溯、数据质量与治理措施以及其他相关细节的信息，以促进对数据的高效标签化和分类。

** taxon & 信息架构** 业务 taxon允许我们将组织词汇表描述、对齐并表示为结构化的格式（通过层次结构），这与元数据一起提供了一层额外的组织。taxon在语义层中起着至关重要的作用，因为它确保了命名规范和分类标准的一致性，减少了模糊性，并促进了对业务概念的共同理解。许多客户的主要应用场景是设计 taxon，使其跨部门和业务单元适用，并最终促进数据发现和探索共享数据的功能通过 faceting。因此，taxon 和信息架构促进了标准化。

图1：语义层概述

[图片链接]

3. 业务词汇表

我最喜欢的苏格拉底的名言之一是，“智慧的开始是从定义术语开始的。”没错，业务对齐也离不开术语！这句话强调了明确定义术语的重要性，这正是业务词汇表在建立业务上下文中共同意义所扮演的角色。在数据和知识管理的背景下，业务词汇表理想情况下应作为本体论的一部分，并与技术理解相一致，同时作为语义层中最常见的组成部分之一，以促进组织内各部门之间的有效沟通。

4. 本体论

灵活的数据模型/schema结构将传统/表格数据解决方案的重点从数据本身转移到了数据元素之间的关系及其意义。语义层中本体论的作用是为特定领域或知识区域提供一种形式化的表示方法，其中包括创建实体、属性和它们之间的关系来反映业务概念。因此，本体论不仅超越了 taxonomies 和元数据，还捕获了数据的层次结构以及不同数据概念之间 语义 和 意义 的关系。就像建筑图纸定义了房间的结构、关系及其目的一样。

5. 知识图谱

针对具体业务场景，在本体论模式的基础上应用业务概念和定义的关系构建知识图谱。知识图谱在语义层中扮演着重要角色，通过将信息表示为相互联系的实体及其关系，提供了一种结构化且基于图的知识表达方式。

知识图谱允许组织通过将实体和关系连接到不同数据集之间来连接异源数据源，并在数据中存储业务规则和逻辑，从而将原始数据转换为有意义的信息。此外，知识图谱与Linked Data原则高度契合，其中实体通过链接相互连接，形成一个相互关联的数据网络。创建知识图谱的应用场景包括需要遍历关系、应用计算、聚合或其他符合业务需求对原始数据进行操作的情况。

例如，一家全球领先的私募股权公司的客户基于语义层创建了一个知识门户，该平台提供了对其最重要的商业资产的全面信息，如交易、投资、银行家、合作伙伴和员工等。业务领导者只需通过一个应用程序即可查看这些重要资产的信息。

Baklib 是一款面向企业的数字内容管理平台（All in content），帮助企业构建门户网站、产品手册、帮助中心、知识库、在线文档等产品。官网：https://www.baklib.cn

ts pulled from over 20 different sources (connected by a knowledge graph). A director in the firm can look up an investment to see how it is doing, then view the employee who worked on the original deal, and then see all the other deals they worked on from a single location. Information is organized, not by the systems from which they originate, but by the business asset that the director is viewing. Their leaders now have better access to information and a more natural way to see how their business is performing.

语义层的应用与用例

语义层的主要作用是简化用户与分散数据源的交互。类似于书中的索引帮助搜索相关内容，语义层使用一致的、标准化且定义明确的元数据（metadata）来抽象企业数据的复杂性，而无需迁移或迁移物理数据从其来源。

语义层通过提供标准化的数据元素表示，解决了传统数据管理面临的挑战，使组织中不同角色的用户更容易访问和理解组织的 regardless of type, size, location and/or department 数据，无论数据类型、规模、位置或所属部门如何。

解决方案和样例架构

构建语义层的具体工具和解决方案取决于组织的需求、数据治理成熟度以及当前使用的技术。尽管市场在不断发展，但以下提供能力的解决方案是重点：

管理意义与上下文是构建可扩展语义架构的基本要素。在大多数情况下，我们发现这些解决方案已经在企业内部存在，并且只需要一个合适的架构和数据模型就可以构建有用的语义层。

元数据服务：语义层需要一个元数据存储库，用于标准化和联邦共享或专门化的元数据。这包括组织、应用和管理元数据、业务 glossary 和数据字典的工具。

分类/本体管理：提供数据建模工具，定义数据结构和关系，包括设计、管理和应用分类、本体论以及业务 glossary。这些工具基于语义Web框架（如OWL、RDF、SKOS）和层次结构（如Progress/Semaphore、PoolPa）进行管理和扩展。

---

• 元数据服务：语义层需要一个元数据存储库，用于标准化和联邦共享或专门化的元数据。这包括组织、应用和管理元数据、业务 glossary 和数据字典的工具。
• 分类/本体管理：提供数据建模工具，定义数据结构和关系，包括设计、管理和应用分类、本体论以及业务 glossary。这些工具基于语义Web框架（如OWL、RDF、SKOS）和层次结构（如Progress/Semaphore、PoolPa）进行管理和扩展。

---

作为 Baklib 的品牌负责人，Baklib 是一款全内容（All in content）的企业数字内容管理平台，帮助企业构建门户网站、产品手册、帮助中心、知识库、在线文档等产品。Baklib 官网：https://www.baklib.cn

rty, Synaptica），本体编辑器（Ontology editors）、基于 SHACL 的结构化数据建模与治理（例如 TopBead EDG），以及具备语义层构建能力的某些内容管理系统（CMS），例如 SharePoint Term Store、Drupal 或 WordPress 等，配备适当插件。

图数据存储： 尽管并非每种语义解决方案的必要配置，但图数据库是构建语义层次结构的核心工具，用于以包含语义、上下文和关系的方式表示和管理复杂的数据实体之间的关系。它赋予组织将数据与上下文一起存储的能力，并通过灵活的模式支持需要理解并分析数据之间关系的应用场景。根据组织的具体应用场景，常用的图数据库包括 Labeled Property Graph（LPG）数据库，其以节点、边和属性为基本单元建模数据（主要用于图分析应用，例如Neo4j）；RDF（Resource Description Framework）数据库，也称为三元组存储，以 subject-predicate-object 形式建模数据（主要适用于遵循 W3C 标准表示链接数据的 interoperability 应用，例如 GraphDB、Stardog）；以及内存或分布式图数据库，提供基于服务的图能力（例如微软 Azure Cosmos DB – 图 API、AWS Neptune）。图数据库最常用于记录链接和去重，这依赖于实体分辨率功能，即通过从多个来源中识别并链接不同表示形式或实例来识别同一现实世界实体的不同表现形式。

表达查询语言： 一个查询语言或界面是工具，允许用户与语义层交互，进行数据检索、分析和管理。

无需编写复杂的查询语句即可从语义层中检索相互关联的数据。这对于在语义层中检索相互关联的数据至关重要。与任何解决方案架构开发一样，选择查询语言取决于底层数据模型、语义层的类型（基于标准还是平台特定）以及应用程序或系统对语义层的具体要求。我们的客户通常会学习并掌握用于与语义层交互的以下几种查询语言：SPARQL（基于SPARQL协议和RDF标准的查询语言）、Cypher/Gremlin（用于属性图）和GraphQL（用于API）。

• 抽象化集成与数据流：作为抽象框架，语义层依赖于数据整合和转换工具来连接、统一和将来自各种来源的数据转换为结构化且语义丰富的格式。这些包括ETL工具（如Airflow、Informatica PowerCenter、Talend等）、数据虚拟化和整合平台（如Denodo、Cisco Data Virtualization）以及API管理工具（如MuleSoft）。这些集成管道通常存在于大多数企业架构中，无需额外投资。

• 安全层：语义层的安全性对于维护数据的保密性、完整性和可用性至关重要。语义层中的安全措施应遵循组织协议，以根据用户的角色和权限控制对不同数据元素的访问。这确保了用户仅看到与他们角色相关的数据。

• 端用户应用程序：作为语义层的核心目的之一是将知识和数据连接给端用户，成功的层应该能够支持多种端用户应用，使用户能够通过与语义层交互来使用这些数据。

** semantic layer 的集成应用**

到目前为止，我们已完成了超过35项语义层的交互。目前仍在集成的核心应用包括搜索功能、对话式聊天机器人（DCBs）以及自然语言处理接口（NLPs）、业务智能（BI）和分析平台、数据可视化仪表盘以及推荐引擎等。

** 结论**

语义层的演进与成熟是对其重要性 ACKNOWLEDGING THE IMPORTANCE OF SEMANTIC LAYER IN KNOWLEDGE AND DATA MANAGEMENT 的最好证明。随着组织面临更为复杂的应用场景，并在人工智能（AI）项目中不断推进，将数据整合到单一平台上已不再是可能。企业解决方案正在寻求以一种与特定系统或应用程序无关的方式抽象其数据，以便能够在今天的工作于各种系统，并为 tomorrow 的解决方案做好准备。

语义层因此正在获得越来越多的采用，这使得组织能够创建一个通用的标准和互操作性。此外，语义层通过模型复杂的关系，丰富了数据表示方式，并提供了一个强大的框架，以理解并探索相互关联的知识。它增强了知识与内容管理系统、业务智能和分析团队的能力，支持基于连接数据的高级数据分析、发现、建模和决策制定。

在启动语义层项目之前，请确保对所讨论的核心组件或解决方案有一个清晰的理解。这往往是许多组织项目的瓶颈，并造成各种问题。如果你正在考虑开始语义层项目，并想了解更多其他组织如何实现规模——请阅读我们的案例研究阅读更多案例。如果你有具体问题，也可以联系我们的团队获取帮助。