FactSet 用 Databricks AI Runtime 将训练部署缩至小时级

FactSet 的文本转公式（TTF）系统有一项看似简单实则困难的任务：将投资专业人士用自然语言提出的请求转换为正确的 FactSet 查询语言（FQL）公式。

FactSet 最初围绕检索增强生成（RAG）构建 TTF，利用检索为给定请求找到相关示例和信息。但随着使用量增长，查询变得更加专业化，公式也更加复杂；这种方法触及了质量天花板。FactSet 开始将微调后的开放模型纳入其复合 AI 架构，使团队能够基于 FQL 的结构和模式训练模型，而不是在推理时主要依赖检索。在 TTF 的早期工作中，FactSet 发现引入微调模型将端到端延迟降低了约 60%。

随着系统演进，微调的角色也发生了变化。FactSet 积累了更多训练数据，并开始定期更新模型，将原本的实验性工作流转变为开发 TTF 的常规组成部分。如今，团队大约每两到三周微调一次模型。

当微调成为发布周期的一部分

每隔几周训练一次改变了基础设施需求。为偶尔的实验准备环境并配置 GPU 计算或许尚可应付。但每当有新数据或新模型可供测试时都要重复这项工作，会直接给开发周期增加开销。

模型需求也可能因实验不同而变化。FactSet 曾使用基于 Llama 的模型，并持续评估更新的开放模型。不同的模型、提示长度和输出特征可能需要不同的计算配置，因此将训练环境绑定到固定的 GPU 设置会使团队在实验时更难适应。

FactSet 使用 Databricks AI Runtime 在无服务器 GPU 基础设施上运行这些微调工作负载。工程师可以根据特定训练运行的需求选择计算资源，而无需先配置底层 GPU 环境。

让训练留在开发循环中

TTF 的训练工作流还与已在 Databricks 上运行的数据、实验、模型管理和治理并列。FactSet 使用 MLflow 跟踪模型开发和实验，而其底层数据仍在其现有 Lakehouse 环境中受到治理。

使用 AI Runtime 运行微调使 GPU 训练保持在该工作流之内。工程师可以使用受治理的数据、训练新模型、跟踪生成的工件，并走向部署，而无需为微调维护单独的 GPU 技术栈。对 FactSet 而言，这将其设置、训练和部署自定义 TTF 模型所需的时间从数天缩短至数小时。

Databricks 的 AI Runtime 极大地简化了训练自定义文本转公式（TTF）模型的过程。无需基础设施设置或等待，就可以根据提示大小和输出 token 生成轻松选择正确的计算资源。这使我们能够快速推进，维持我们的 Lakehouse 工作流，并提供具有完整治理的高质量模型，将我们设置、训练和部署模型的时间从数天缩短至数小时。——Nikhil Sunderraj，FactSet Research Systems, Inc. 首席机器学习工程师

为不断变化的模型而构建

更换模型的能力从一开始就是 TTF 演进的一部分。随着使用量增长和公式变得更加复杂，高级 RAG——尤其是仅依赖外部托管模型——会成为持续准确性和延迟的瓶颈。RAG 在系统遇到更复杂公式之前是有效的。微调后的开放模型为 FactSet 提供了另一种提升质量和延迟的方式。如今，随着更新模型的出现，团队可以针对工作负载评估它们，而不是将当前的模型选择视为永久不变。

TTF 本身正变得更加专业化。随着 FactSet 积累更多数据，团队正在探索用于查询分解、组件提取和库识别等任务的额外微调模型。这为使用最适合工作流每个部分的模型创造了更多机会，但也使快速、可重复的训练变得更加重要。

当一个模型更换不需要围绕它重建训练环境时，测试起来就容易得多。通过 AI Runtime 按需提供 GPU 计算，工程工作转向真正影响 TTF 的问题：使用哪个模型、如何训练它，以及生成的版本是否改进了应用。

此外，微调流水线构建在 Databricks Lakeflow Jobs 和 Pipelines 之上，作为一个 即插即用、可复用的框架——旨在以最小的设置工作量轻松适配不同的 TTF 任务和其他团队，提供标准化基础，减少入门摩擦并加速集成。

让模型选择切实可行

开放模型发展迅速。今天在质量、延迟和成本之间提供恰当平衡的模型，可能并不是团队六个月后想要的模型。因此，保留模型选择权不仅仅需要能够下载一组新的权重。周边的训练和部署工作流必须跟上。

FactSet 在 TTF 上的经验展示了这在生产中的样子。随着数据和应用演进，团队可以继续测试新的开放模型，而 AI Runtime 在其现有的 Databricks 工作流中提供无服务器 GPU 基础设施。FactSet 无需花费数天来设置、训练和部署每次迭代，而是可以在数小时内完成这一循环。

对于一个每隔几周就重新训练一次的系统来说，这种差异会不断累积。新数据可以更快地进入新模型，工程师也能把每次迭代中的更多时间用于改进 TTF，而不是用于准备训练它所需的基础设施。