Databricks AI Runtime GA：用企业数据定制开源模型

GPU 为当今最先进的 AI 工作负载提供算力，从前沿语言模型到多模态 AI 系统和智能体。越来越多的企业正在将开放模型适配到自己的数据和业务需求。但获得 GPU 访问权限只是挑战的一部分。团队还需要配置训练任务、治理数据访问并管理 GPU 基础设施，留给试验模型和评估其满足业务需求程度的时间就更少了。

Databricks 与 NVIDIA 提供了一条从企业数据到定制 AI 模型的无缝路径，从微调较小模型到大规模分布式训练。通过 Unity Gateway，Databricks 为开发者提供对前沿模型和开源模型的受治理访问。对于需要定制模型的团队，AI Runtime (AIR) 将 NVIDIA 的 AI 软件生态和无服务器 GPU 带到企业数据中。团队可以在 AIR 上试验、微调和评估模型，然后通过 Databricks Model Serving 将其部署用于实时推理——这一切都在 Databricks 平台内完成，需要管理的基础设施和治理工作更少。

今天在 GTC Berlin 上，Databricks 和 NVIDIA 正在扩展合作，让企业更轻松地定制开放模型。Databricks AIR 现已正式可用：开发者可以使用 NVIDIA NeMo、NGC 容器和新的 Nemotron cookbook，在无服务器 NVIDIA GPU 上训练和微调开放模型。这些能力共同为团队提供了更大的灵活性，可将模型适配到业务特定任务，并将其用于应用和智能体。

AI Runtime 解锁了传统上机器学习工程师无法触及的企业数据上的模型训练和强化学习。借助 AI Runtime 和 NVIDIA 的 AI 软件生态，团队可以针对其自定义用例和业务上下文专门化 Nemotron 等开放权重模型。凭借受治理的数据访问、大规模训练的易用性，以及用于自动化调试的 Genie Code，AI Runtime 将加速定制模型在企业中的兴起。——Hanlin Tang，Databricks 神经网络 CTO

当智能体植根于企业实际运作方式——其数据、工作流和专业知识——时，它们才最有价值。NVIDIA 和 Databricks 正在将 Nemotron 和 Kumo 等开放模型直接带到受治理的企业数据中，为团队提供模型、工具和加速计算能力，以构建能够基于公司知识进行推理、预测下一步并采取行动的专用智能体。——Pat Lee，NVIDIA 战略合作副总裁

使用 AI Runtime 更快地训练和微调

AIR 提供用于训练和微调的无服务器 NVIDIA GPU，因此开发者可以大规模运行现有代码和容器，而无需管理 GPU 基础设施。借助对多节点分布式训练的支持，团队可以跨 GPU 节点扩展更大的工作负载。NVIDIA Quantum InfiniBand 通过远程直接内存访问 (RDMA) 提供高带宽、低延迟网络，而 NVIDIA 集合通信库 (NCCL) 负责处理 GPU 之间的通信。Databricks 管理底层集群和网络。

例如，一家构建技术支持智能体的企业可以从 NVIDIA Nemotron 开放模型开始，并使用NVIDIA NeMo在 AIR 上基于带标签的支持工单对其进行微调。该团队可以试验不同的训练方法，并使用 MLflow 跟踪结果，同时将模型适配到其特定的支持工作流。

开发者可以准备 Lakehouse 数据，并在由 GPU 驱动的 notebook 中或通过 AIR CLI 进行实验，使用高性能数据加载和包含 PyTorch 与 CUDA 的标准环境。他们可以使用分布式训练框架，或自带库和自定义训练循环。

当实验准备好进行可重复执行时，Lakeflow Jobs 可以将训练与上游数据准备和下游评估一起编排，将单次运行转变为可重复的工作流。Declarative Automation Bundles 支持用于部署和更新这些工作流的 CI/CD。

MLflow 跟踪训练实验和 GPU 利用率，帮助团队比较模型结果和计算性能。Unity Catalog 治理对训练数据的访问，原生系统表则提供对 CPU 和 GPU 使用情况的可观测性。这些集成共同让团队能够使用他们已经在 Databricks 中依赖的数据、治理和运维工具。

使用 NVIDIA AI 软件加速工作负载

训练和微调深度学习模型不仅仅需要 GPU 算力——团队还需要在框架、库和环境方面拥有灵活性。AIR 现在支持 Docker 和私有注册表，允许开发者将自定义容器化环境带到其 GPU 工作负载中。

开发者可以使用来自 NVIDIA NGC Catalog的 GPU 优化容器，并结合Databricks Artifact Registry将 NVIDIA 软件引入 AIR。环境缓存有助于这些工作负载快速启动，减少团队迭代训练代码和重新运行实验时的设置开销。

开发者还可以安装 NVIDIA 性能分析工具，以检查 GPU 执行情况并调查性能瓶颈。结合 MLflow 中跟踪的 GPU 利用率指标，这些工具有助于团队了解训练工作负载的时间花费在哪里，并识别改进性能的机会。团队可以调优其软件和训练代码，而 AIR 负责管理底层 GPU 基础设施。

AIR 支持超越 LLM 的定制化，包括针对NVIDIA Kumo Anomaly（一种用于时间序列异常检测的开放研究模型）的经过验证的微调工作流，并具备 MLflow 跟踪和 Unity Catalog 检查点。这支持NVIDIA 的 Agent Knowledge Foundation构建智能体知识层的愿景。将 Kumo-Anomaly 与 Genie Ontology 配对，为上下文感知智能体提供了一条路径，这些智能体可以将时间序列数据中的异常模式与业务含义联系起来，以帮助为后续步骤提供信息。

定制并服务 Nemotron 模型

随着 Nemotron 3.5 Lightning 和 Super VL 的发布，Databricks 客户可以从第一天起就在 Databricks 上加载、试验、适配和提供这些模型的服务。

AIR 支持使用 NVIDIA NeMo 和 NeMo Automodel 进行模型定制，使团队能够在无服务器 NVIDIA GPU 上使用 NVIDIA 的工具和框架。在技术支持代理示例中，这意味着开发者可以使用这些工具在历史支持工单上微调 Nemotron，帮助模型更好地理解公司特定的产品、术语和故障排除工作流。训练始终与 Databricks 中的企业数据和工作流保持连接。

Genie Code 还可以帮助开发者直接在笔记本中编写和适配训练脚本。开发者可以描述他们所需的更改，请求帮助配置微调运行，并在出现错误时逐步解决。他们可以在无服务器 NVIDIA GPU 上运行之前审查和改进建议的代码。

对于微调，AIR 将优化的数据加载、检查点和训练与集成的可观测性和调试工具相结合。开发者可以在 MLflow 中跟踪实验和 GPU 指标，并使用 Genie Code 来：

• 调试模型代码并调查训练错误。
• 识别 GPU 性能瓶颈，包括内存问题和通信开销。
• 应用有关 CUDA、cuDNN、NCCL 和性能分析工具的 NVIDIA 特定指导。

在微调和评估之后，团队可以通过 Databricks Model Serving 将定制模型部署到生产环境。在我们的技术支持示例中，微调后的 Nemotron 模型可以为代理提供支持，该代理能够解释传入的支持请求，并根据公司产品和故障排除工作流生成响应。这完成了从在无服务器 NVIDIA GPU 上进行模型定制到实时推理的整个工作流。

开始使用 Databricks AI Runtime 和 NVIDIA

要了解更多信息，请访问我们的 网页、AIR 文档，并浏览 Nemotron 3.5 SuperVL 和 Nemotron 3.5 Lightning 的 cookbook，开始使用 Databricks 上的 GPU 训练和微调。