AI成本管理新经济学：从花费追踪到ROI归因

衡量 AI 实际交付的价值

哪些平台能同时提供智能体监控与成本追踪，这种可见性又能带你走多远，去衡量真实的投资回报率，而不只是支出？

Kevin Stumpf： 衡量成本比把成本与投资回报率关联起来要容易得多，而这正是所有人都想得到答案、却几乎没有人完全解决的问题。会话级或请求级打标签正是让这件事成为可能的关键。如果一个智能体正在处理某个特定的拉取请求，它可以把自己的会话或它生成的特定请求打上该拉取请求的标识符。这种归属信息会回流到成本仪表盘中，于是你就能看到，例如，某个拉取请求的完成成本是 300 美元。这是我们在 Databricks 内部已经在做的事情。

在理想状态下——这也是我们正在构建进 Unity Gateway 产品中的能力——你可以更进一步，把那个拉取请求关联到某个具体功能，再把该功能关联到可衡量的成果，比如它在给定时间段内带来了多少收入或销售管道。这才是圣杯：不只是知道 AI 花了多少成本，而是知道它带来了什么回报。借助 Unity Gateway，我们已经有了一个高度可定制的平台来构建这一能力，并且我们正在投入资源，让这种“成本到回报”的视图开箱即用，而不是需要团队自己搭建。

支出可见性需要集中式系统

对于一家在多个团队中运行多个模型、智能体和工具的公司来说，良好的支出可见性实际上需要什么？它是一个仪表盘问题、一个治理问题，还是一个 FinOps 问题？

Kevin Stumpf： 良好的支出可见性要求每一次 AI 交互都流经一个集中式系统。正是这一点让你能够一致地锁定正确的信息，从而在其之上构建可靠的仪表盘和告警。AI 网关为跨模型、智能体、工具和团队的 AI 成本管理提供了一个集中式控制点。Databricks Unity Gateway 旨在为跨模型、智能体、工具和编码智能体的场景提供那个集中式控制点。当 AI 交互流经一个共同的控制点时，组织就能在一个地方观察使用情况、归属成本、执行预算并优化支出。

但仅有集中式系统本身还不够。你还需要一种方式来确保每个人都确实把他们的 AI 流量路由通过它。可见性只有在采用是普遍而非可选的情况下才有效。

平衡成本优化与输出质量

成本控制不能以牺牲质量或可靠性为代价。你如何知道某项优化已经走得太远，开始损害输出了？

Kevin Stumpf： 这确实是因用例而异的。你需要一个反馈机制，它可以是主观的，也可以是客观的。主观反馈是轶事性的，是团队里有人告诉你，他们在当前预算内无法完成工作。这种反馈来得快，但很容易被当作一个人的抱怨而不予理会。客观反馈来自自动化评估，它设置起来更难，但可靠得多。

对于一个常见的用例，比如编码智能体，这可能意味着定义一个质量代理指标，比如两周内没有被回滚的已合并拉取请求。在此基础上，你可以做实验：把预算减半，看看那个黄金指标是会变动、保持稳定，甚至有所改善，因为约束有时会激发创造力。在不同团队之间，用不同的预算、模型和运行框架开展并行实验，或者进行为期几周的时间限定对比，就能让你推断出某个给定预算是创造了价值还是在摧毁价值，而不是靠猜测。

端到端追踪的价值

端到端追踪和监控在这里扮演什么角色？一旦你能看到整个智能体工作流中的提示词、工具调用和 token 用量，这解锁了哪些你以前做不到的事情？

Kevin Stumpf： 追踪就是收集智能体所做事情的完整“尾气”：它们在思考什么、在调用什么工具、在拉取什么数据、提示词是好是坏。这些原始数据正是你可以用来挖掘洞察的东西，无论是识别滥用、浪费、安全泄露，还是仅仅发现你从未想过要寻找的模式。

这与更广泛的数据行业曾经发生的情况如出一辙。早期，我们只有数据库里干净的结构化数据。后来出现了数据湖，它一度变成了数据沼泽，因为人们把非结构化数据倾倒进去，却没有办法从中提取价值。最终，那些沼泽又变回了可用的数据湖，而如今我们比以往任何时候都更有能力从非结构化和半结构化数据中提取洞察，这在很大程度上是因为 LLM 足够灵活，能够处理这些数据。智能体追踪也属于同一类别。你收集得越多，可获得的洞察就越多，而且比以往任何时候都更容易获得。

扩展到智能体集群

许多企业正在从单一的 AI 应用转向智能体集群。与在一个应用背后运行一个模型相比，这种转变会改变成本方程式吗（新的成本驱动因素？新的盲点？）？

Kevin Stumpf： 它与其说是改变了方程式，不如说是把它放大了。智能体集群将成为新的现实，而其中的每一个智能体都会消耗需要被归属、监控和管理的 token。现在正是建立正确的成本可见性和管理基础的时候，要赶在生产环境中智能体数量按预期增长之前。

编码智能体是当今消耗 token 的主导类别，但这将扩展到许多其他类别的智能体，它们全天候执行自主工作，智能体调用其他智能体、后者再调用其他智能体。那些等到这种复杂性到来才去构建集中式 AI 可观测性和成本管理基础设施的组织，将不得不在压力之下构建它，而不是按自己的条件来构建。

如果你必须在进入明年之际让企业 AI 领导者接受一个关于成本管理的思维转变，那会是什么？

Kevin Stumpf：我不会等到明年。这件事很紧迫，应该从现在起就以紧迫的态度对待。如果必须把它归结为一个想法，那就是：你无法管理你无法衡量的东西。这适用于原材料，适用于人，也同样适用于 AI。AI 正迅速成为公司现金流量表上最重要的项目之一，它需要被完整地加以监测，以便能够被衡量，进而被管理。它不过是生产你组织商品或服务的系统中的又一种原料，理应得到同样严格的对待。

时钟从现在开始计时跨团队控制使用多种模型和工具的 AI 成本，不是一个靠单一仪表板或一次性模型选择就能解决的问题。它是一种运营纪律：归属粒度足够精细，能够将支出追溯到某个人或某个项目；路由能够实时适应任务所需；护栏能够在失控支出成为头条新闻之前将其拦截；追踪足够详尽，能够将原始使用数据转化为真正的洞察。走在这一问题前面的组织并不是在 AI 上花费最少的组织，而是能够自信地说出他们花了多少钱、究竟得到了什么的组织。

了解更多关于 Unity Gateway 如何在整个 AI 资产中集中管理成本归属、智能路由和支出护栏。