Databricks Genie 企业数据 Agent 基准：准确率 91%，Token 用量减半

我们与Turing合作开发了一个新的企业数据智能体基准测试，在实时 Databricks 工作区中，针对业务问题将 Genie 与两个主要前沿智能体及其各自的测试框架进行比较。该评估衡量答案准确性、token 使用量和完成任务所需时间。Genie 的通过率为 91%，而其他前沿智能体分别为 45% 和 58%，同时使用的 token 不到它们的一半。

与以往通常只包含表的数据智能体基准测试不同，该基准测试还包含笔记本、仪表板、已保存的 SQL 查询、文档和其他分析资产，这些资产捕捉了企业知识、业务定义和计算规则。这些资产提供了仅凭表模式无法建立的关键企业上下文。Genie Ontology 是企业上下文层，它让每个 AI 智能体对业务形成共同理解。它会自动提取并组织这些知识，为 Genie 在回答问题时提供相关上下文。

我们之前对 Genie 的评估使用了专有数据集，其中使用了本体。该基准测试使用为共享而设计的任务和支持性分析资产来评估 Genie，因此其他人也可以运行该评估。

正确回答业务问题需要获取关于组织如何解读和使用其数据的机构知识。团队通过日常分析工作积累这些知识：确立收入定义、维护反映当前报告规则的仪表板，以及编写处理业务特定例外的查询。该基准测试中的问题要求智能体访问并推理这些知识，以正确执行任务。

为什么需要新的基准测试

已经有许多现有的数据智能体基准测试，但没有一个真正模拟真实世界的使用情况。我们需要一个基准测试来检验智能体发现和使用分布在笔记本、仪表板、已保存 SQL 查询和其他文档中的业务知识的能力。

现有的数据智能体基准测试大多聚焦于一组表以及构建这些表的管道代码，智能体在这些基准测试上的表现相近。在真实的企业任务中，正确答案很少仅来自这些表。它需要利用来自许多不同来源的信息，例如构建报告表的特定笔记本、团队仪表板背后的 SQL，或已保存的查询。该基准测试中的问题要求智能体推理这些资产中蕴含的知识，并将它们结合起来以正确回答问题。

结果

对于该基准测试，我们虚构了一家公司 Calderwick Energy，这是一家英国电力和天然气供应商，其面临的挑战与许多典型数据团队非常相似。公司有数百张表（最大的一张约有 1.2 亿行半小时电表数据），以及不同团队在其上构建的资产，例如笔记本、计划作业、仪表板、已保存的 SQL 查询、代码、指标、文档和 Genie Agents。它也具有真实世界场景的混乱性，例如复制的笔记本、被放弃的分析、旧文档和开发副本、冻结的报告表以及数月无人问津的仪表板。

我们创建了多个数据分析问题和查询作为基准测试任务，并在同一个实时 Databricks 工作区中对每个智能体的每个任务运行了 5 次。

我们按三个主要指标比较这些智能体：

1. 准确性（满足任务评分标准的响应百分比）
2. Token 使用量（每次运行平均使用的 token 数）
3. 实际耗时（每次运行平均花费的时间）

下表显示了三个智能体在该基准测试上的整体表现。Genie 正确解决了 91% 的任务，而前沿 Agent A 为 45%，前沿 Agent B 为 58%。此外，Genie 明显更快（与 Agent A 相比快 4 倍，与 Agent B 相比快 3 倍），并且 token 效率高得多，因为它能够利用 Genie Ontology 更高效地识别并推理相关企业上下文。

你可以在 GA 公告博客 或 官方文档 中了解更多关于 Genie Ontology 工作原理的内容。

如果你想在自己的工作区复现该基准测试，请联系你的客户团队，他们可以帮助你设置，以帮助实施该测试，并展示 Genie 在实时 Databricks 工作区中的表现。

评估方法

除 Genie 外，我们还在结果中评估了来自前沿 AI 实验室的两个领先编码/知识智能体，即“Agent A”和“Agent B”。Genie 原生运行，而其他智能体通过 Databricks 工具带连接。它们都收到了相同的问题。该工具带特意排除了 Genie MCP，因为那会使其他智能体访问我们正在测试的所有 Genie 能力。

我们使用经过校准的评分标准检查每个智能体是否回答正确，该标准涵盖了期望的答案和智能体行为。在数字上的微小差异可以接受的地方，我们事先设定了这些限制。只有当答案满足评分标准中的必要检查时，才算通过。我们还记录了智能体如何找到并使用回答问题所需的业务上下文。跟踪记录显示了 Genie 检索了哪些片段以及智能体选择运行哪些查询。除准确性外，我们还测量每个智能体的延迟和 token 使用量。

从结果中，我们观察到 Genie 的正确答案通过率显著优于两个前沿智能体，Agent A（+46%）和 Agent B（+33%）。它同时也明显更快（3-4 倍），而平均使用的 token 不到一半。我们现在对 Genie 如何高效正确地回答这些问题进行定性分析。

示例演示：找到正确的规划费率

以下是基准测试中的一个示例任务，要求智能体识别 Calderwick Energy 历史上的某一条商业规划费率：

这看起来像是一次简单的查表。账单成本堆叠表中有一列名为 cfd_rate_p，其中 FY24/25 的各行包含 0.31 便士每千瓦时。智能体可以找到相关表格，筛选到所请求的期间，然后返回该数字。查看更多的行会进一步印证这个答案：整个表格中都出现相同的费率。

而改变答案的那个细节，已经记录在构建账单成本堆叠的笔记本中。

它解释说，商业团队每年设定规划费率，并且该 mart 使用 FY25/26 假设，包括当这些假设被应用于更早的账单期间时。另一个章节“按年份划分的规划费率”保留了历史记录：

问题问的是商业团队为 FY24/25 设定了哪个规划费率。当前应用于这些行的费率反映的是 FY25/26 假设。笔记本已经记录了这一区别，并保留了回答问题所需的历史费率。

Genie Ontology 呈现了一个包含历史规划费率的片段，并将其链接到源笔记本 45_mart_bill_cost_stack。当我们运行该任务时，Genie 检查了笔记本以确认费率，并在其第一次回复中返回了 0.52 p/kWh。Ontology 面板同时显示了相关信息及其来源笔记本，使我们能够核查来源。

在 5 次 Genie 运行中，首次答案每次都是 0.52。其他智能体在各自的运行中都没有得到正确的历史费率。其中一个始终返回 0.31。另一个报告了 0.31、质疑是否记录了特定年份的规划费率，或两者兼有。

要正确回答，需要理解表格中的费率代表什么，并找到商业团队记录的历史规划假设。Genie Ontology 将这些已有知识作为上下文提供给 Genie 的回复。

成本与质量的权衡

前沿智能体非常擅长基于书面文本完成大多数事情。为一项可以用计算机完成的任务输入文字，LLM 就会理解需求，然后制定并执行一个计划来完成该任务。每个新模型的发布都会逐步增加更多能力，而前沿实验室似乎会在各种基准测试中互换第一名的位置。

这实际上使生成 token 的“智能”商品化，并将智能体权力和能力的来源转移到 harness 及其能够检索的上下文中。这就是为什么该基准测试展示了上下文有多么重要，以及 Genie Ontology 如何经过优化，为手头的任务提供相关上下文。对于竞争智能体而言，检索提取相关上下文所需的所有工件和元数据既耗时又昂贵，而且并不必然保证得到正确结果。这些基准测试结果为使用 Genie（包括 UI 和 MCP）以及 Genie Code 作为最可靠、最具成本效益的数据智能体和你的 AI 同事的入口提供了依据。

该基准测试旨在测试 Genie 以及其他在已建立的 Databricks 部署中运行的智能体，其中相关数据受 Unity Catalog 治理，业务知识保存在工作区资产中。智能体需要发现并使用正确的上下文。在尚未有时间积累工作区知识的新部署中，或者当问题可以直接从表和模式中回答时，智能体之间的差异可能较小。这解释了为什么其他现有数据智能体基准测试显示智能体之间的差异较小。

了解更多

要了解更多信息，请联系你的客户团队以获取此基准测试的访问权限，他们可以帮助你设置它，以展示 Genie 在繁忙的 Databricks 工作区中的工作方式。

Genie Ontology 现已正式可用。更多信息：

• 访问 Genie Ontology 产品页面
• 阅读 产品文档
• 参加我们的 Data + AI Live: Context is just the beginning 活动，与 Ali Ghodsi 和 Greg Brockman 一起
• 下载 电子书：Operationalizing the Enterprise Context Layer

此基准测试只是我们 Week of Genie 的一部分，更多关于 Genie、Genie Agents 和 Genie MCP 的消息即将发布，所有这些都由 Genie Ontology 的共享业务上下文驱动。

我们很期待看到客户如何使用 Genie Ontology 在其组织中扩展可信 AI。