Constellation在Databricks上构建受治理的企业数据平台
有效阅读仅保存在当前浏览器,用于「为你」推荐;暂停或清除记录。
DataHot 速览
美国最大核电站运营商Constellation在Databricks上建设受治理的企业数据平台(EDP),核心难点并非选择模型,而是统一数据的业务含义。公司数据分散在资产、供应链、商业交易与运营等数十个系统中,缺乏跨域共享的语义层,例如“我们有多少客户”在零售、批发与CRM口径下会得到三个不同但都正确的答案。通过并购扩张(如2026年并入拥有79座电站、27GW容量的Calpine)进一步放大了定义与治理的复杂度。其做法为其他企业提供了可借鉴的实践路径。
为什么值得关注:这是第一方的数据平台治理实践,具体呈现了语义层缺失、并购整合与跨域定义冲突等真实痛点,对正在推进湖仓与数据治理的数据从业者有参考价值。
本文目录 9 节
译文
AI 逐段翻译Constellation运营着美国最大的核电机组群。对他们而言,为AI做准备最困难的部分之一不是选择模型,而是就数据的含义达成一致。Constellation的团队正在Databricks上构建一个受治理的企业数据平台(EDP),以使数据在整个业务范围内保持一致且可用,其方法为其他企业提供了一条切实可行的路线图。
Constellation是谁
Constellation是美国最大的清洁可靠能源生产商,其发电能力相当于2700万户家庭的需求,并拥有约250万个零售客户账户。正是这种运营和客户关系的广度,使得共享定义和治理对其数据工作至关重要。
Constellation从资产管理、供应链、商业和交易系统以及整个机组群的运营中收集数据。这些数据为从近实时市场模型到核能遥测的一切提供输入。在一个安全和可靠性至上的业务中,把定义和治理做对至关重要。这种风险特征驱动了后续的每一个架构选择。
问题:高质量数据,却没有共享语义
Constellation各团队为自身工作构建了强大的数据能力。然而,跨这些团队的问题仍然需要额外努力来连接信息,并调和定义上的差异。数据散落在数十个地方,没有共享的语义层来定义其在各领域中的含义。
Constellation面临着一个许多组织仍在苦苦挣扎的问题:一个简单的问题却没有单一答案:“我们有多少客户?”零售以计费表为关键,批发以交易对手为关键,CRM以账户或用户为关键。三个正确的答案,却有三种不同的含义。随着Constellation通过收购不断扩张,这个问题只会更加复杂,包括2026年收购的Calpine,后者在22个州拥有79座发电厂和27 GW的装机容量。那是一个完全独立的堆栈,有自己的定义、数据仓库和建模惯例。EDP突然不得不吸收一个规模大致与Constellation自身相当的实体。在Databricks上开发EDP的过程中,为数据赋予含义并实施治理,正是Constellation正在进行的转变。
基础:Databricks上的企业数据平台
Constellation的答案是构建在Databricks上的受治理EDP。EDP是共享基础,连接了此前孤立的系统,并为业务提供对其数据的单一共享理解。这是从众多互不相连但构建良好的系统,有意识地转向一个受治理的基础,使数据在整个企业范围内承载共享含义。
平台决策本身只花了几周时间。Constellation选择了Databricks,因为它给了他们实验、成长和逐步成熟的空间,同样重要的是,因为它能与他们现有的架构互操作,而不是强制进行推倒重建。三个架构支柱脱颖而出:
- 将共享含义作为一致性语义。Constellation的EDP团队没有强迫每个领域采用一个定义,而是与业务领导者合作定义受治理的一致性实体——就“客户”在零售、批发、天然气和CRM中的含义达成一致——并在整个企业范围内复制这些定义。在此基础上,Constellation构建了一个语义知识层,映射业务关系——客户、合同、资产以及它们如何跨领域连接。该团队使用Data Vault作为其建模方法,有选择地用于需要随系统变化而灵活调整的关键、可复用实体。并非每个数据集都采用vault建模。建模选择是有意为之的,取决于该实体是否会被复用、审计或随时间演进。
- 治理是所有权模型,而不仅仅是访问控制。Constellation的一个主要决策因素是选择一个超越传统访问控制、能向其利益相关者传达语义含义的服务。确定了这一标准后,Unity Catalog成为显而易见的选择。Unity Catalog提供了血缘、细粒度访问和单一权限模型。Constellation超越了技术层面,回答了其他平台难以应对的问题:谁拥有含义?借助Unity Catalog的指标视图,这变得更加容易。不同的数据领域需要不同的访问和治理控制。Constellation的团队在设计平台时支持这些要求,同时将新的用例引入该基础。建立内部审批和治理成为信任的锚点。
- 一个受治理基础之上的多工作区。相同的受治理数据集在不同的工作区中呈现,业务语义只定义一次,却被多次使用。
对Constellation而言,Databricks同时支持数据工程和治理,为团队提供了一个受控环境来构建AI。
构建在同一基础上的三个示例用例:
在同一受治理的基础上,三个早期用例展示了在业务截然不同的领域中可以实现的可能。
1. 核工程助手
Constellation正在开发一个助手,使用Databricks Genie构建,并通过Unity Catalog进行治理,以帮助工程团队更轻松地查找和使用经批准的技术信息,减少回答复杂问题所需的工作量。
2. 停机计划:计划性核维护管理
计划性停机是Constellation执行的最复杂的运营之一。它们因换料、大修、监管检查和设备工作而发生。每一次都会在紧张的时间表下将大量人员和许多工作订单汇集到一个现场。协调这些工作需要从不同系统获取排程、工作执行和资产健康数据。该团队正在将数据汇集到Databricks中,以帮助计划人员分析时间表并协调工作,决策权仍属于停机团队。
3. 销售情报:机会优先级排序与最佳下一步行动
在销售领域,将相关的客户和商业信息整合在一起,有助于团队为对话做好准备并识别增长机会。该团队正在 Databricks 上开发 AI 能力,使这些信息更加一致、可访问且可付诸行动——支持诸如优先处理高价值机会和推荐最佳下一步行动等成果。所有这些都构建在 Databricks 中同一受治理的数据基础之上,并配有适当的数据防护措施。
主要要点
Constellation 的经验强调,企业数据平台不仅关乎技术,同样关乎语义和治理。其团队正在构建所需的定义、控制和可复用的数据基础,以支持业务不同领域的有用分析和 AI。Databricks 结合 Unity Catalog 使数据对业务用户而言可信且可发现。
这一受治理的基础还使数据科学家能够使用 Databricks 构建机器学习和代理式 AI 解决方案,包括 Genie One 和 Genie Agents。该团队在开发销售、维护规划和工程支持领域的用例时正在使用这些能力。
展望未来
Constellation 正在探索 Genie Ontology,这是一个自学习知识图谱,可添加上下文业务信息,以及 Unity Catalog Pages,后者在 Unity Catalog 中集中管理业务定义。这些能力共同扩展了语义层,使数据更有意义、更一致且更易于使用。
在 Constellation 领导者 Jay Cavalcanto(高级副总裁兼首席信息官)和 Vineeth Vijaykumar(IT 业务管理办公室副总裁)撰写的这篇 博客 文章中了解更多关于他们的故事。
观看 Constellation 在 Databricks Data + AI Summit 上的演讲(第 56.23 分钟处)
这篇内容对你有用吗?
反馈只用于改善内容筛选,不等同于收藏