哈佛研究：AI生成代码未提升完工产出，下游评审成瓶颈

一项最近针对718家公司开展的哈佛研究使用Jellyfish分析平台发现，尽管AI编码助手和代理增加了代码量，但这并未转化为已完成工作量的相应增加，部分原因是AI生成的代码增加了开发后期阶段的工作量，尤其是代码审查。

该研究基于2021年1月至2026年3月期间700多家公司中70万名员工约3亿次工作事件。数据来自多个来源，例如人力资源信息、代码版本控制系统、问题管理系统、Google Calendar等日程安排工具，以及生成式AI工具，包括GitHub Copilot、Cursor和Claude Code。

研究人员考虑了三种编码产出衡量指标：新增代码行数、提交次数和拉取请求。

AI助手带来代码产出的小幅增长——代码行数增长12%，提交次数增长9%，拉取请求增长5%——其中只有对提交次数的影响具有统计显著性。AI代理则在三项指标上都带来大幅且显著的增长：代码行数增长30%，提交次数增长20%，拉取请求增长23%。

作者使用这些数据，以每名员工每月解决的Jira问题和史诗数量来评估软件产出，其中问题被视为单项工程工作单元，史诗则被视为更大的项目或功能。研究发现，编码助手并未增加已解决问题的数量，而代理带来了12%的增长。然而，这明显小于估计的30%代码行数增长。

为解释这一差距，他们考察了整个开发流程，该流程涵盖编码之外的多个步骤，包括功能与范围规划、代码审查、测试和部署。

我们根据Jellyfish数据推算时间使用情况，并通过对100名Prolific工程师的调查验证了这一推算，发现工程师将30-40%的时间用于编写代码；其余时间用于这些补充性任务。当AI提高代码编写效率时，补充性步骤可能成为瓶颈。

具体而言，他们发现PR的平均审查时间增加了49%，每个PR的评论数量上升了53%，需要修改的PR占比翻了一番。此外，执行代码审查的员工占比增加了14%，而采用AI辅助审查并未带来改善。作者还指出，PR相关工作量的增加无法用单个PR规模的增加来解释。

在评论这些发现时，Reddit用户Prime_1指出“每一行代码都是潜在负担”，markehammons进一步发展了这一观点，他强调了AI幻觉带来的额外风险：

当你面对的是一个不可信的行为主体时，风险更是加倍，而代理比大多数行为主体都更不可信。它们可能在毫无恶意迹象的情况下做出最糟糕的事情，而且是在一种被误导的、试图完成所给任务的尝试中。

Reddit用户enigmamonkey进一步提出，平均恢复时间可能成为评估AI对软件开发影响的一个日益重要的指标：

如果你的工程师编写和理解的他们交付的代码越来越少，我设想问题会变得更频繁，解决起来也更复杂。尤其是随着代码库规模扩大……而它终将扩大。

Jellyfish是一家软件公司，提供用于衡量和分析软件工程绩效的平台。它连接来自GitHub和Jira等工具的数据，帮助企业了解开发者生产力和软件交付情况。