Snowflake Cortex Agents 长期记忆实践

应用强化学习技术来强化智能体记忆

查看完整项目于 git！

简介

基于人类反馈的强化学习（RLHF）是一种广泛使用的方法，用于使 AI 系统与人类偏好对齐并改进其响应。传统 RLHF 使用人类偏好数据，通过训练来更新模型行为。同样的反馈驱动原则也可以应用在应用层。

在 Snowflake，我们可以使用受 RLHF 启发的方法为 Cortex Agents 构建长期记忆。人类反馈有助于确定哪些经验、偏好和纠正值得保留。然后，智能体可以在未来的对话中检索已批准的记忆，因此它 无需重新训练底层模型即可随时间变得更加准确。

本指南展示如何使用 Cortex Agents、持久记忆、Cortex Search 和反馈驱动的更新来实现这一模式。

在下面的测试中，长期记忆实现使智能体在 33 个新问题上的准确率从 48% 提升到 100%。延迟未受影响。

工作原理：受 RLHF 启发的智能体记忆

这种方法不更新模型权重，而是更新智能体在推理时检索的上下文：

1. 捕获： 用户通过 Feedback API 提交负面反馈和可选评论。
2. 诊断： AI_COMPLETE 将反馈与相关的智能体轨迹结合，并起草一份结构化案例文件。
3. 审核： 领域负责人批准、编辑或拒绝提议的案例文件作为可复用的经验教训。
4. 存储： 已批准的经验教训被持久化，并通过 Cortex Search 建立索引。
5. 检索： 对于每个新问题，智能体检索相关经验教训，并将其纳入其响应或决策过程。

不会更新任何模型权重。人类偏好信号仍然影响未来的智能体行为，但它是通过检索到的上下文进入的，而非梯度下降。

端到端演示

我们构建了一个零售销售智能体，其语义视图被刻意设计得较为简单。它不知道三条业务规则：收入指 净收入，财年从二月开始，且 INTERNAL 订单是测试数据。

我们将跟踪一条反馈走完整个循环。

捕获

用户问：

智能体回答 11,450。 但正确答案是 10,891，因为智能体将测试订单也计算在内了。

用户点击“踩”并写道：“订单数量看起来太高了。”

评论很模糊，但反馈携带了它所评价答案的请求 ID，该 ID 链接到完整的智能体轨迹：问题、SQL、结果。

诊断

AI_COMPLETE 读取反馈和轨迹并起草一份案例文件。它怀疑是测试订单，但它 没有凭空捏造规则。相反，它标记了一个待决问题：

ORDER_COUNT 是否应排除某些渠道（例如测试订单）？

起草，而非决定。

审核

领域负责人回答问题并批准该经验教训（在 Snowflake 中的 Streamlit 应用里）：

channel = ‘INTERNAL’ 的行是测试订单。将它们从所有指标中排除。

存储

已批准的经验教训作为唯一行存储在 Snowflake 表中。

检索

已批准的经验教训由 Cortex Search 建立索引。对于每个新问题，智能体仅检索相关的经验教训。

随后另一位用户问：

无记忆时：5,734。有记忆时：5,451，这是正确的。

不同的问题，相同的修复。

衡量

为了真正压力测试这些经验教训是否确实有效，我们向有记忆的智能体和一个没有记忆的相同智能体分别提出了 33 个新问题。以下是结果：

我们表中的三条经验教训都泛化到了新的时间段、区域和指标。延迟基本保持不变。

结论

智能体很少因为推理能力差而失败。它们失败是因为缺少用户已经掌握的业务上下文。

这个循环将每个 👎 转化为人类批准的经验教训，智能体在下次遇到类似问题时检索该经验教训。凭借三条经验教训，新问题的准确率从 48% 提升到了 100%。

这是没有训练步骤的 RLHF。反馈是标签，人类是奖励模型，检索代替了权重更新。

试一试！

代码是开源的：[https://github.com/haebichan/rlhf_memory]

用长期 Cortex 记忆消除智能体准确率损失 最初发表于 Snowflake Builders Blog: Data Engineers, App Developers, AI, & Data Science 在 Medium 上，人们通过突出和回应这个故事来继续对话。