专家分析：关键词搜索 vs 语义搜索 - 第一部分

本文分析了关键字搜索与语义搜索的优缺点，探讨了两者在不同应用场景下的适用性，并提供了选择合适搜索方式的指导。

长期以来，关键字搜索一直是企业应用的主要搜索方式。实际上，它仍然是帮助用户在内容中找到所需信息的一种可靠方法。然而，近年来语义搜索作为一种可行的替代方案逐渐得到了更广泛的认可。

在本次专家分析博客中，我们的高级咨询顾问Fernando Aguilar和Chris Marino两位先生将向大家解释这两种不同的方法，并提供选择其中一种何时更合适的指导方针。

图片资源已删除

关键字搜索（Chris Marino）

关键字搜索系统的核心是一个名为“倒排索引”的数据结构。我们可以将其视为一个包含两列的表格。每行对应于文档集合中的某个术语，其中一列包含该术语，另一列包含所有包含该术语的文档ID。填充这个表格以包含文档内容的过程称为“索引”。

当用户在关键字系统中进行搜索时，搜索引擎提取查询中的单词并在倒排索引中寻找精确匹配，然后返回匹配的文档列表。然而，它不会按随机顺序返回这些结果，而是应用一种排名算法（或评分），确保更相关的结果首先显示出来。这种排名算法通常基于两个因素：“词频”（文档中该术语出现的次数）和“独特性”（术语在整个文档集合中的独特度）。

语义搜索（Fernando Aguilar）

语义搜索，也称为向量搜索，是一种超越基于关键字的搜索方法，旨在理解用户查询意图和含义。它利用自然语言处理(NLP)和机器学习算法来分析查询中单词和概念之间的上下文关系，并根据其语义意义识别最相关的结果。这种方法常用于聊天机器人、虚拟助手和企业搜索等应用，以提供更准确和个性化的用户结果。

与关键字搜索不同，关键字搜索依赖于匹配文档或数据库中的具体关键字或短语。语义搜索能够理解查询的深层含义并识别相关概念、同义词甚至模糊术语。这使其能够提供更为全面和相关的结果，尤其是在用户的意图不明确或存在多种可能意义的情况下。

使用关键字搜索 vs 语义搜索的优缺点

关键字搜索 (Chris Marino)

关键字搜索是一种历史悠久的应用程序，因其易于实施、熟悉且经过考验而成为许多搜索解决方案的自然选择。它还提供了大量开发者可用的集成组件和示例应用，可通过搜索引擎或询问ChatGPT等途径找到。

关键字搜索的一个优点是其简单性和广泛的支持。然而，它在复杂查询中的准确性可能不如语义搜索，且依赖于预先存在的数据，这可能导致无法覆盖所有用户需求的情况出现。

搜索的可解释性——用户理解搜索结果匹配查询原因的能力

关键词搜索（Keyword Search）的结果筛选能力是其核心优势之一。用户可以很容易地在搜索结果中看到自己输入的关键词。尽管有一个算法负责进行评分排序，但一位搜索开发人员可以迅速理解为什么某个结果出现在另一个结果之前，并对算法进行调整以影响搜索结果。

相比之下，语义搜索（Semantic Search）的结果逻辑更像一个“黑箱”。用户有时无法直观地理解为何某个特定结果被返回。这在很大程度上影响了整体用户体验；当用户了解他们为什么会得到某个搜索结果时，他们会信任系统并对此产生积极态度。

关键词搜索的主要缺点

关键词搜索的一个最大缺点是缺乏确定搜索语境的能力。与将搜索项视为概念或事物不同，它简单地将其视为字符字符串。例如，以下查询：
> “What do eagles eat?”

关键词搜索会逐个处理每个单词，并对它们进行搜索。它没有意识到你是在提问，也没有意识到“what”和“do”这两个词不重要。此外，“Eagles”这个词在不同的上下文中可能有不同的含义：鸟类中的猎鹰、70年代的摇滚乐队、费城足球队，以及波士顿学院的球队等。虽然一个人可以推断出你对猎鹰感兴趣，但关键词搜索只是寻找与“e-a-g-l-e”这个字符字符串相关的任何内容。

语义搜索（Fernando Aguilar）

由于其理解用户意图和查询含义的能力，语义搜索近年来变得越来越流行，并提供了更相关且个性化的结果。然而，并非所有用例都适合语义搜索。了解语义搜索的优势、局限性以及与关键词搜索之间的权衡 trade-offs，可以帮助你为你的组织选择最适合的解决方案。

语义搜索的优点

语义搜索使搜索结果更加全面和广泛，能够识别出用户意图背后的深层含义，并提供更相关的内容。

提升搜索结果的相关性：利用上下文和语义理解

向量搜索通过考虑查询的上下文，能够区分“巴黎”（地点）与“巴黎”（一个人名），从而提供更相关的结果。此外，它理解了术语之间的关系，例如通过词性标注（POS tagging）识别不同的术语为动词、形容词、副词或名词。

优势： * 通过允许用户使用自然语言短语、同义词或术语的变体来提高意图表达的准确性，从而提供更友好的搜索体验。 **

向量搜索的应用场景差异

关键字搜索（克里斯·马里诺）

在一般情况下，任何应用场景都适合关键字搜索。它已经存在多年，并且当配置得当时，能够提供可靠的结果，成本也相对较低。然而，有一些特定的场景特别适合关键字搜索：学术和法律搜索，主要由图书馆员完成。根据我的经验，这类搜索者通常有非常精确、复杂的查询需求。这些查询的特点包括：

精确短语匹配
多个字段搜索（例如，“展示

…

在这些情况下，用户需要确保并验证每个结果都符合他们的具体查询。他们不是在寻找建议。精确性（“准确显示用户所问的问题”）比召回率（“显示用户可能感兴趣的但没有特定要求的东西”）更重要。 ### 意义搜索（Fernando Aguilar）主要使用场景的区分将由搜索用户如何格式化他们的查询来决定。意义搜索在用户提交的搜索短语包含上下文、词与词之间的关系以及术语变化的情况下表现最佳。因此，聊天机器人、虚拟助手或客服应用程序等应用中用户可能会以对话方式提出问题。 ## 关键词搜索和意义搜索中有哪些酷炫的功能？ ### 关键词搜索（Chris Marino）关键词搜索为提高搜索者的整体体验提供了许多功能。其中一些主要功能包括 facets（面数）、短语搜索（phrase-searching）和片段（snippet）。

搜索“学费 reimbursement”只会返回匹配这个精确短语的文档，而不会返回只提到“学费”或“reimbursement”但两者独立存在的文档。

摘要

摘要是从文档中提取的小部分文本片段，包含搜索项，并在搜索结果页面上显示。它们展示了搜索项在整体文档中的上下文，例如包含搜索词的主句。这有助于提供一个视觉提示，帮助搜索者理解为什么这个特定的文档会出现在搜索结果中。通常，搜索结果页面会显示文档标题，但你的搜索词可能不出现在标题中。通过显示摘要，并突出显示搜索词，用户可以感受到搜索结果的相关性被确认，我们将其称为“信息味。”

芯粒搜索（Fernando Aguilar）

目前，芯片搜索是改善搜索和组织信息的一项最有可能有效的方法。虽然芯片方法已经在计算机视觉和自然语言处理等许多领域取得了显著成效，但还有一些有趣的特性使其成为企业搜索值得关注的领域。例如： * 多语种能力：向量搜索可以利用多语言模型来检索内容，无论内容的语言还是查询本身的语言是什么。 * 文本到多模态搜索：自然语言查询可以根据创建向量所使用的模型检索未标记的视频、图像或音频内容。 * 内容相似性搜索：芯片搜索也可以将内容作为查询输入，因此应用程序可以检索与用户当前正在查看的内容相似的内容。