在 Databricks SQL 中运行开放决策模型
DataHot 速览
Databricks 官方博客介绍如何在 Databricks 上托管开放权重决策模型，并以 SemIf-OpenJev 为例在 SQL 中运行。流程由可导入 Notebook 完成：选择模型名/schema、选择 Serverless GPU、Run All；AI Runtime 提供无服务器 GPU 计算，自动下载模型、登记并创建 GPU Model Serving 端点。用户可通过 SQL 的 ai_query 直接调用任意自定义模型 API，把模型应用于受治理数据，例如将酒店评论分类为好/坏。文中还提到可用 AI Runtime 定制或后训练模型，并通过 Lakeflow 的生产作业调用。
为什么值得关注：该实践展示 Databricks 把开放权重模型接入受治理数据与 SQL 工作流的路径，覆盖从模型部署到 ai_query 调用和生产作业，对建设数据平台 AI 能力、降低 GPU 运维与调用成本的团队有参考价值。
译文
AI 逐段翻译上周末，诸如 Jev 之类的“System One”决策模型已经发布，这是一类日益壮大的基础模型，能够从一组离散选项中产生校准良好的决策。这些模型通常速度极快且成本低廉，使得在大型数据上能够有广泛的应用。潜在用例范围从分析客户支持记录，到在您的数据中大规模应用复杂决策。
开源社区也一直忙于发布这些决策模型的开源权重版本，从 Smelf-open-jev，到 Laya，再到 Kev。但是，这些模型的能力只有在它们能够接触到大量数据时才会被释放。今天，我们很高兴分享如何在 Databricks 上提供开源权重决策模型服务，并直接在您受治理的数据上运行它们。您甚至可以直接从您的 SQL 控制台或生产作业中访问这些模型，通过 Lakeflow 使用 ai_query。此外，像 AI Runtime 这样的产品使您能够自定义或后训练这些模型，以使其适应您特定的企业上下文。
在这篇文章中，我们将展示如何使用这样一个模型， SemIf-OpenJev，直接在 Databricks 中，将酒店评论分类为好或坏。
从笔记本到端点
我们已将工作流程打包成一个 可导入的 Databricks 笔记本。
入门只需三个步骤：
- 选择模型名称/schema
- 选择 无服务器 GPU
- 点击 全部运行
该笔记本使用 Databricks AI Runtime 来提供无服务器、按需的 GPU 计算，而无需您设置或管理 GPU 基础设施。
然后，它会：
- 下载 SemIf-OpenJev 模型文件。
- 使用 Express Deployments 记录并注册模型。
- 自动创建一个 GPU 模型服务端点。
此时，您就拥有了一个运行在托管端点后面的开源分类器，您可以从应用程序调用它——或者直接从 SQL 调用。
使用 ai_query 从 SQL 调用模型
此设置的一个有用之处在于，端点不需要暴露标准的聊天补全接口。
Databricks ai_query 支持任意的自定义模型 API，因此您可以直接从 SQL 发送 SemIf 的结构化请求格式。
例如：
现在，您可以将该模型应用于已存储在 Databricks 中的评论，并将选定的分类和选项概率作为结构化列返回。
开始使用
决策模型发展迅速，而像 SemIf-OpenJev 这样的开源实现使您自己尝试该模式变得容易得多。
导入 该笔记本 直接到您的 Databricks 工作区，选择 无服务器 GPU，然后点击 全部运行 即可开始。然后，在您自己的数据上尝试它，替换为您自己的决策标准，看看该模式适合您应用程序中的哪些地方。
这篇内容对你有用吗？
反馈只用于改善内容筛选，不等同于收藏