人人都在用AI Agent，却几乎无人能证明ROI

Amber Roberts 是 Databricks 的员工技术营销经理，过去几年里，她一直在观察 AI 在组织内部实际是如何被使用的，而不仅仅是它被宣传的方式。在这次对话中，她阐述了为什么“更快”是思考代理式 AI的错误方式，为什么如此多的公司难以证明其 AI 投资的投资回报率，以及一个 AI 代理要在工作中真正有用、而不只是在演示中令人印象深刻，必须具备哪些条件。

为什么用速度来衡量 AI 生产力是错误的

大多数关于 AI 生产力的讨论仍然围绕着速度：更快地完成同样的任务。为什么这不是思考代理式 AI 的正确视角，团队又应该考虑哪些其他 KPI？

Amber Roberts：生产力与一个团队实际的 KPI 紧密相关，而这取决于你所处的位置。对某些团队来说，工作是注重细节的，速度并不是最大的问题。对另一些团队来说，延迟就是全部关键。甚至“速度”这个词也有不同含义：例如，开发速度与推理速度。

工程生产力和营销生产力不是一回事，也不应该用同样的方式来衡量。所以我会反驳那种认为存在某个唯一正确的 KPI 可以替换进来的想法。这取决于团队，老实说，也取决于个人。一个从零开始学习某个领域的人，使用 AI 的方式会与一个已经确切知道自己想构建什么、只想把繁琐部分自动化的人不同，他们看重的价值也会不同。

我对那些一味宣称“这是错误的思考方式”的标题持怀疑态度。这其中有很多灰色地带。即使是同一个团队中的人，根据各自的专业水平，对想从 AI 中获得什么也可能有不同的优先考量。

AI 投资回报率差距：为什么采用速度超过了证明速度

越来越多的研究表明，公司正在快速采用 AI，却难以展示真正的投资回报率。为什么存在这种差距，它又揭示了大多数组织如今部署 AI 代理的方式存在什么问题？

Amber Roberts：购买 AI 的人和日常使用它的人往往是不同的人。购买者不想在这场游戏中落后。他们的工作取决于是否站在技术前沿，即使他们并不是实施它的人。如果他们看到竞争对手在购买和部署 AI，他们就会想要促成交易。任何新技术都是如此：没有人想成为被落下的人。

然后，在六个月到几年之后，你开始看到它是否真正建立了投资回报率，是否物有所值。这正是许多组织目前所处的阶段：审视他们买来的东西，将其广泛推广，并弄清楚它对哪些用例有效。其中很多都是反复试验。但这种反复试验仍然比落后竞争对手六个月要好。

为代理式世界重新定义生产力

你如何定义代理式世界中的生产力，这与企业过去 20 年衡量生产力的方式有何不同？

Amber Roberts：生产力的经典定义是劳动力、时间和资本等投入如何有效地转化为商品和服务等产出。有趣的是，AI 不产出商品，它产出服务，在幕后优化某些东西。

关键的转变在于：过去，生产力是用一个人能完成多少工作来衡量的。现在，它衡量的是一个人拥有一队助手可供支配时能完成多少工作。我们甚至能在评估人的方式中看到这一点，无论是在面试还是带回家的评估任务中。仅仅看某个人在四小时内独自产出了多少已经不再令人印象深刻，因为这与某个人在善用 AI 时的产出之间存在明显差异。这就是新的基准。但它并不取代对主题的深入知识。它只是意味着同样的直觉、同样的品味、同样的专业知识，现在被应用在不同的规模上。

我看到最大的跃升出现在人们把过去占据他们一天的所有事情——那些反复出现的、可安排调度的、“雇个助手来做这个”的工作——自动化，以便专注于工作中更难、更有创造性的部分。那些需要真正反驳和判断的部分，因为 AI 的默认模式是顺从。它几乎对任何事情都会说“听起来不错”。这对助手来说很有用，但也正是为什么工作中那些需要有人争辩、反驳、说“不，那不对”的部分，现在变得更重要，而不是更不重要。

当人们报告生产力提升却没有附带质量指标时，这一点也常常被忽略。生产力在技术上与效率相关联，而且它假定你不会为了达到效率而牺牲质量。如果一家公司说他们效率提高了 40%，只有质量保持稳定，这才真正有意义。否则，你可能只是用同样的时间产出同样的结果，却多了更多环节。这与我们在内容领域具体看到的情况相符：当你推高产量，却没有额外关注那些让内容出色的细节时，质量往往会下滑。工具并不总能跟得上。

为什么业务上下文胜过原始任务速度

很多 AI 工具都能执行任务。一个代理“理解业务上下文”实际上意味着什么，为什么这比速度更重要？

Amber Roberts：我把它类比为把 AI 代理与一个真正的人类助手进行比较。如果你让助手做某件事，而他们没有你的上下文、你的日程安排，也不了解过去几个月发生了什么，他们就无法把工作做好。想象一下，让某人在没有宾客名单、没有库存、没有上次活动记录——什么有效、什么无效、供应商是谁、他们擅长什么——的情况下去策划一场活动。你没法就这样把它替换掉。这正是拥有深厚机构知识的人如此难以被替代的原因：失去那个人并培训一个新人的成本，远高于留住他们。

这正是业务背景就派上用场了。你可以拿到很多不错的演示，展示“这就是你如何构建这个东西”，还配有确实很好的通用说明。但如果你问：“我该如何给我的房子加建一个扩建部分”，通用 AI 工具会解释扩建通常是如何运作的。它不会知道你的邮政编码、你当地的建筑规范、你所在城市的条例。它没有任何针对你具体情况的信息。而如果你实际想构建的是为你公司所用的东西，那基本上毫无用处——而这正是你想要 AI 在工作中发挥作用的首要原因。