Atlassian 基于 Databricks 构建 OCSF 安全湖仓

挑战：全球规模下长达二十年的日志混乱

Atlassian 是一家全球 SaaS 提供商，服务 35 万家客户——这是 20 年增长和一系列收购的成果，而每次收购都带来了各自的日志格式。结果是一条安全数据管道每天吸收440 亿条事件，而各种日志源之间却没有共同语言。

“你有各种各样的事件时间戳，你有专有的模式，你有运营负担，任何想组织和结构化这些信息的人都要承受，”Atlassian 高级安全日志工程师、OCSF 模式维护者 Zachary Schmerber 解释道。分析师把时间耗费在数据落地之后的规范化上，跨平台关联因数据存放位置和形态不同而受限，SIEM 管道也跟不上节奏。

团队需要一种方法，把碎片化的遥测数据汇聚到一处并加以理解，同时保持灵活性并避免供应商锁定。

解决方案：安全湖仓上的开放模式

Atlassian 的答案是让一切标准化于开放网络安全模式框架（OCSF），并在 Databricks 上构建湖仓。

OCSF 胜出，是因为它是团队考虑的唯一一个完全开放的选项。与 ECS 或 UDM 等替代方案相比，它提供了强类型模式和稳健的验证，在转换后最大限度地减少歧义，压缩效率好，可扩展，并且拥有开源社区（有 Linux 基金会支持，并有走向国际标准化的路径）。它大约 4 万个字段起初看起来很吓人——但这种冗长最终成了该平台最大的资产，因为语义上下文始终随数据保留。

“有些调查中，单个查询就能命中许多不同的数据源——因为数据是结构化的，”Schmerber 说。“也许你的系统里有五个漏洞扫描器。现在你只有一个数据集，而不是五个。”

Databricks 是自然而然的选择。原生 ACID 事务让跨模式版本迁移变得容易得多，而不会破坏下游消费者；自动扩缩的 Spark 集群处理共享的高吞吐量工作负载；该平台就是为管理大型、多团队组织的基础设施开销而构建的。Atlassian 有意选择了ETL 而非 ELT——在传输过程中转换数据——以实现实时检测、保持供应商独立性，并在数据流经管道时对其进行压缩。

表优化带来了显著的性能提升。借助结构化的 OCSF 数据，分区和 Z-ORDER 将一个代表性查询从约 45 秒缩短到 2–3 秒——提升了 95%，在更大的查询上也有类似收益。启用带 Photon 的 Graviton 集群将查询成本和运行时间削减了约三分之二。

类型安全：将模式嵌入代码

一个关键工程决策是把整个 OCSF 模式嵌入 Go 结构体——团队称之为“TypeGo”。由于模式存在于类型系统中，正确性在编译时就能得到保证。

“每次你生成一条新的 OCSF 日志，它都是预先验证过的——因为它不可能是 OCSF 之外的任何东西，”Schmerber 说。嵌套对象是原生的，部署可以运行在任何地方，而且一切都有单元测试。至关重要的是，这种类型安全也驯服了 AI：当团队用代理式工作流自动化转换时，严格的模式大幅减少了幻觉并削减了令牌使用量，因为代理无法产生无效映射并反复进行糟糕的迭代。

从“映射即服务”到自助式平台

最大的转变是运营层面的。Atlassian 的安全数据工程团队最初采用一个六阶段手动流程来收集日志、将其转换为 TypeGo、路由、测试、配置，并通过 PR 发布。随着时间推移，他们几乎把这一切都自动化了——并最终将其作为自助式平台交还给客户。

现在分析师只需确定他们想要的日志并提供规范数据集。经过有门控的确认后，工作流会扫描 Go 结构体中的框架、生成映射和 DAG、在本地测试、通过 PR 部署金丝雀配置、在金丝雀环境中进行大规模验证，并在经过一段观察期后——晋升到生产环境，并将任何错误通知用户。回归测试在生产之前把关一切。

工具链包括一个模式映射 IDE 和一个开源 Go OCSF 库，具备验证性能增强、未映射字段的自动处理、模式辅助工具（IP 路径、规范化）以及智能路由。回报是极低的上手开销：“我现在可以让一名 SOC 分析师在生产环境中完成首席数据工程师的工作，”Schmerber 说——同时每一项变更仍会被审查。

加速效果显而易见：“我花了一年时间才映射出我们今天所映射数据的大约三分之一，”Schmerber 指出，“而另外三分之二只花了两个月。”

更好的检测：从一对一告警到信号

对于检测与响应团队来说，标准化改变了告警的编写方式。“采用 OCSF 模式使我们能够转型威胁检测管道，从一对一告警转向基于信号和风险的检测方法，将多个信号发现聚类到单个告警中，”Atlassian 检测与响应团队的 Jordan 说。

借助一个名为Alert Explorer的自定义工具，发现结果会围绕标准化的 OCSF 值聚类——例如，一个单一的actor.user值，无论它出现在认证事件还是网络事件中都是相同的。这种一致性让团队能够标准化聚类、富化和分诊 play：他们不再针对每个检测进行富化，而是每次都对标准化的用户名值调用富化 API。

“OCSF 让编写检测变得容易得多，并能提供更有意义、更可操作的告警，”Jordan 说，“无论数据来自哪里，分析师都能深入分析。”

影响

除了头条新闻中的成本和性能数字之外，标准化还解锁了以前不切实际的能力：具有强大实体解析的多域关联、高效的用户行为分析以及跨应用程序模式分析。当一切都使用同一种语言时，团队可以编写简单的查询，同时发现五个不同路由器——或五个漏洞扫描器——中的异常行为。仪表板被大幅简化，因为 OCSF 类共享对象，存储也得到了优化，因为团队知道哪些数据该保留、哪些该丢弃。

下一步：与你的数据对话

Schmerber 最兴奋的是这个语义丰富的模式为 AI 解锁了什么。“除非你的智能体拥有上下文，否则你怎么与你的数据对话？它会幻觉并给你错误的答案，”他说。由于 OCSF 在模式内部携带其定义，智能体辅助变得准确得多。

路线图包括技能训练，将分析师的真实现场使用情况转化为可复用的智能体技能；智能体编排，可以在具备正确上下文的情况下运行威胁狩猎；上下文 SQL，可以回答诸如“在这个模式中我的 DNS C2 流量在哪里？”之类的问题；以及基于 OCSF 构建的上下文图。更长期的抱负是语义层面的：让 OCSF 成为一切数据发出的规范起点——而不是事后从数据中合并出来的模型。团队还将继续通过考虑迁移到 Liquid Clustering 来改进查询性能，以在企业设备和云等环境中进行数据分区。