Databricks 发布 Private Network Gateway
DataHot 速览
Databricks 宣布推出 Private Network Gateway(PNG),在 Azure 进入公开预览,在 AWS 进入私有预览。PNG 让 serverless 工作负载通过一条连接进入客户自有网络,并由客户控制可访问的资源。它支持在 serverless 上通过 Lakeflow Connect 从私有数据库摄取数据、连接私有 MCP Server、使用私有 PyPI/Artifactory/Nexus 仓库、经由自有防火墙出站,并保持客户自有源 IP。Databricks 称超过 75% 的客户访谈对象表示网络配置复杂是部分工作负载未迁移到 serverless 的主要原因。
为什么值得关注:该发布直接解决 Databricks serverless 在私有网络接入、数据摄取、Agent 调用私有服务和出站安全方面的关键落地点,对关注湖仓平台网络与治理的数据从业者很重要。
译文
AI 逐段翻译Databricks Serverless Compute 是全托管、智能且无版本的,让用户能够专注于解决业务问题,而不是调整规模、调优和管理集群及基础设施。然而,对许多团队来说,仍然存在的高摩擦步骤是 网络:为 Serverless Compute 提供一条通往其自身网络内数据库、应用程序和系统的私有路径。在我们的客户访谈中,超过 75% 的客户表示,他们当前的网络配置以及处理网络变更的复杂性,是特定工作负载继续留在 Classic Compute 而非迁移到 Serverless 的主要原因。
今天,我们宣布 公开预览 推出 Azure 上的 Private Network Gateway (PNG),以及 AWS 上的私有预览。PNG 为你的 Serverless 工作负载提供 一条连接 进入你的网络,从那里,你可以控制对你网络已能访问的一切的访问。
- 简化跨私有数据库的摄取: 在 Serverless Compute 上使用 Lakeflow Connect,从你的 VNet/VPC 及连接的本地环境中受支持的数据库进行摄取
- 将 AI 智能体连接到私有服务: 你在 Databricks 上构建的智能体可以调用你托管的私有 MCP 服务器
- 使用你自己的包仓库: Serverless 可以从你网络内的私有 PyPI、Artifactory 或 Nexus 仓库安装 Python 库
- 通过你自己的防火墙路由出站流量: 将流量通过你现有的防火墙或内容检查服务发送,使出站流量使用你自己的工具原生地过滤和记录
- 保持一致的、客户拥有的源 IP: 你的 SaaS 应用(如 Salesforce)可以看到属于你的源 IP
这些以前每一项都需要网络、安全和管理员团队之间的协调部署,以及多个新部署,如负载均衡器和代理 VM。使用 PNG,你配置一条连接,你的网络可以访问的资源就可以从 Serverless 访问。PNG 按网络扩展,而不是按端点扩展。
Private Network Gateway 显著简化了我们如何将 Serverless Compute 连接到 Azure 和本地数据源——不再需要为每个连接搭建 Private Link 服务和负载均衡器。它还为我们的 Serverless 运营带来了真正的灵活性:我们可以复用现有的工作区子网,这使得防火墙审批更容易,同时仍能精确控制哪些目标可访问。——Fabiano Seki,Banco Bradesco 数据工程技术负责人
Serverless 网络的挑战
Classic Compute 在你自己的虚拟网络中运行,因此访问你的数据很直接:使用标准云原语对网络进行对等连接。相比之下,Serverless 在 Databricks 管理的网络中运行,一方面消除了运维开销,但这也意味着你的私有资源需要一条明确的路径。
Serverless Private Link 提供了这条路径,它仍然是云管理服务(如 AWS S3 或 Azure Data Lake Storage)的正确工具。但对于你托管和管理的资源,如数据库、Kafka 集群或内部 API,连接通常意味着为每个资源单独配置私有端点、负载均衡器和代理 VM——再加上你的 Databricks 管理员、云管理员和网络安全团队之间的来回协调。对于少数资源,这也许可以管理。但当团队需要 Serverless 跨 VNet、对等网络和本地环境访问数十个数据库、API 和内部服务时,逐资源的方法很快成为瓶颈,使其痛苦、缓慢且需要大量人工。
PNG 的工作原理
设置简单直接:你在虚拟网络中委派一个子网给 Databricks,PNG 建立一条从 Serverless Compute 进入该子网的托管加密网关。你在 Network Connectivity Configuration (NCC) 中配置该网关,这是你已经用于 Serverless 网络的同一个账户级对象。然后你可以将 NCC 附加到你的工作区,受支持的 Serverless 工作负载就可以访问你允许的私有目标。
你无需在网络中部署、修补或扩展任何网关 VM。Databricks 为你创建并运行网关。你保持对网络的控制。

在 PNG 之前,为 Databricks Serverless 启用私有连接需要大量的网络设置和协调。PNG 简化了整个流程,减少了运维开销,并帮助我们更快地运行作业——使 Serverless 更容易集成到我们现有的环境中。——Primož Gale,NLB 首席技术架构师
你保持对网络边界的控制
PNG 将网络边界保留在你手中:
- 你的网关属于你:它提供一条进入你网络的专用路径,而不是承载其他客户流量的共享设备。隔离通过封装和网络安全规则强制执行。
- 网关在任何流量离开之前强制执行工作区级访问控制。
- 在子网之外,你的路由表、网络安全组、DNS 解析器和安全设备决定 Serverless 可以访问什么,就像它们对你网络的其他部分一样。
你通过两种模式选择 PNG 承载多少流量:
specific_destinations仅通过 PNG 发送你列出的完全限定域名。所有其他流量保持其正常路径。当你想要精确控制 Serverless 可以访问哪些资源时使用此模式。all_traffic通过你的网络路由出站流量,除了任何匹配更具体的 Private Link 或服务端点路径的流量,后者保持其原生路由。使用此模式通过你自己的防火墙检查广泛的出站流量,或通过你自己的 IP 地址发送它。
PNG 是增量式的。它与你已经用于 Databricks 的私有连接和出站控制并存,不会改变它们,因此你可以启用或移除它而不影响你现有的设置。
在 Private Network Gateway 之前,为无服务器工作负载管理机密和网络连接需要多种集成和持续协调。如今,借助 PNG,我们可以直接安全地访问内部服务,并通过现有控制措施集中管理出站流量,使运维更简单、更快速、更易于治理。——Michel Schwandner,平台工程师,Julius Blum GmbH
开始使用 PNG
Private Network Gateway 现已在 Azure 上以公共预览版提供,并在 AWS 上以私有预览版提供。对 Google Cloud 的支持正在开发中。
立即开始:
- Private Network Gateway - Azure 文档
- 对于 AWS,请联系您的 Databricks 客户团队讨论注册事宜
要了解有关 Databricks 平台安全新功能的更多信息,请参阅 2026 年 Data + AI Summit 上 Databricks 平台安全与合规的新功能。
这篇内容对你有用吗?
反馈只用于改善内容筛选,不等同于收藏