返回

Leeroo开源Kapso:从企业数据中迭代学习的引擎

HN Hacker News(数据关键词) AI 逐段翻译 发布 2026-11-13 01:51

有效阅读仅保存在当前浏览器,用于「为你」推荐;暂停或清除记录。

DataHot 速览

Leeroo团队开源Kapso,一个面向企业数据工作的实验引擎:给定目标和成功标准后,它自动运行实验、部署最优方案并从每次运行中学习。团队以某企业从旧数据栈迁移到湖仓为例,涉及30多个源系统族、数千张表和转换、数百份BI报表,强调只能通过探查仓库、dbt模型、文档和数据本身来迭代理解。作者认为RAG文档在具体环境中被验证前价值有限,学习应在沙箱中发生并逐项目复利。

为什么值得关注:面向湖仓迁移、dbt模型与BI报表的自动迭代实验引擎,直接对应企业数据治理与Data Agent落地场景,值得数据平台从业者关注其方法论与开源实现。

译文

AI 逐段翻译

嘿,HN!我们是 Alireza 和 Majid,正在构建 Leeroo(https://leeroo.com/)。此前,我们曾为拥有数百万用户的产品构建 AI 系统,包括在 LinkedIn 和 Meta。现在我们专注于为企业数据构建 AI 系统。今天,我们开源了 Kapso(https://github.com/Leeroo-AI/kapso),这是一个运行实验、部署最佳解决方案并从每次运行中学习的引擎。数据工作的本质是迭代的:调查、形成假设、实验,并根据所学进行改进。这种自下而上的过程是在大型、混乱的企业数据环境中快速交付有意义成果的唯一方式。顾问在会议中收集上下文,或者团队预先定义业务本体以适配数据,这在几个季度甚至几年内都没有执行的机会。一个 AI 原生系统应该自动化这一过程,使学习在每次新的调查和实施中不断累积。例如,我们的一个企业项目是将一家公司从其旧数据资产迁移到湖仓,涉及 30 多个源系统家族、数千张表和转换、以及数百份 BI 报告。没有任何个人或 AI 智能体知道该数据资产是如何连接和运行的。了解它的唯一方式是调查公司的代码库、dbt 模型、文档和数据本身,提出关于该资产的假设,运行实验并从中学习,直到我们理解每个系统如何运行以及在何种条件下运行。这种迭代工作不仅限于理解数据和系统如何组合在一起,以及业务运营。构建有用的软件也是迭代的。无论你是在优化仓库、构建湖仓管道还是预测流失,你都需要运行实验并了解在该环境中什么最有效。随着你交付更多项目,这种专门知识会累积,原则上类似于 RL。对文档进行 RAG 直到在特定环境中尝试并学习其后果之前几乎没有价值。与人类工程工作一样,实验和学习应该在沙盒中进行。我们构建 Kapso 正是为了这类工作,你给它一个目标和成功标准,它就会朝着可以在你的技术栈上部署的最优解决方案努力。你可以在这里查看视频演示:https://www.youtube.com/watch?v=W4FHlza1fRs以下是它的工作原理……Kapso 有一个经验库,其中的经验是从过去的实验中归纳或演绎出来的,每条经验都带有可信度分数、适用条件以及背后的证据。对于每个新实验,一个构思模块会在考虑先前经验的基础上提出想法,按预期回报与各自将使用的预算进行重新排序,并将排名靠前的想法发送给实施者。由于经验库在该环境中不断从过去的实验中学习,所提出的想法比来自 LLM 或 RAG 的通用假设更适合该环境。此外,每个实验的结果都由一个验证模块验证,任何实验都无法访问和欺骗该模块。正如我们在构建此类系统时发现的那样,有时成功标准和评估测试需要演进。实验模块可以提出对指标和标准的更新,由验证模块批准或拒绝。每次运行后,learn() 会使用该次运行的证据更新经验库的分数和边界。对经验库的更改也可以通过运行其他方面完全相同、仅使用先前和更新后的经验库的构建来进行 A/B 测试。经验库构建在 git 上,因此你可以与他人分享你的经验,列出你可用的经验库,并更新它们(CLI 中的 `kapso experience share/list/update`)。该系统与模型无关,也与编码智能体无关。kapso.deploy(solution, target_stack) 遵循相同的工作流程,运行一个较短的实验循环,使最佳解决方案适配目标技术栈(例如 Docker、Modal、BentoCloud、LangGraph)。每个领域都有一个可供开始的 harness,你可以使用插件中的 /kapso:harness 或通过 CLI(kapso harness new <name>)编写自己的领域 harness,并通过运行实验在其上累积。我们在一些公共基准和实时竞赛上运行了它,结果如下……- 关系数据库上的预测建模:在 RelBench、Kumo AI(现为 Nvidia)和 Stanford 的基准上排名第一,领先于最佳表格基础模型(https://star-project.stanford.edu/relbench/leaderboard/)。这表明将学习保持在 harness 层面可以击败基础表格模型。更新经验库的成本远低于重新训练表格基础模型。- ML 工程:提交时在 OpenAI 的 MLE-bench 上排名第一,目前仍位列顶级开源系统之中(https://github.com/openai/mle-bench/pull/107)。- AI 竞赛:领先于 Sakana AI 的 ALE-Bench 作者所报告的最佳智能体,并在 2026 年实时国际人工智能奥林匹克竞赛中自主运行,超过全部 471 名人类参赛者,位列前三的 AI 系统(https://ioai-official.org/ai-models-track/ioai%c2%b2-2026-re...)。我们在 Leeroopedia(https://leeroopedia.com/)有一个面向 ML 和数据的公共库:约 10 万个页面,通过对论文和代码库进行实验提取而来,每月约 600 万次请求,其中约 28% 来自 AI 智能体。如果你在一家成长中的公司,拥有跨多个系统和职能的复杂数据资产,并且你的数据和 AI 团队人手紧张,我们很乐意提供帮助!https://github.com/Leeroo-AI/kapso

这篇内容对你有用吗?

反馈只用于改善内容筛选,不等同于收藏

分享这条资讯
分享海报
保存图片
iOS 也可以长按图片保存