Ridgeline 用 Iceberg+ClickHouse 统一投资管理分析层

大多数资产管理公司将交易、会计、报告、CRM 和分析作为各自独立的系统运行，事后再拼接和对账。Ridgeline将它们全部整合到一个单一平台上，拥有统一的数据模型和内置 AI。“我们正努力成为那种包罗万象、一体化的产品，”绩效衡量与分析经理 Hayden Hudgins 表示。

在公司内部，Hayden 的团队位于交易和会计的下游，将原始交易数字转化为投资绩效和分析。一个投资组合是赚钱还是亏钱？为什么会这样？对投资组合及其内部权重有什么影响？

要让这一切奏效，必须满足两个条件。“在整个 Ridgeline，速度和准确性是重中之重，”技术产品经理 Erin Corrado 表示。“我们必须非常快——这是市场差异化因素——同时还必须准确，因为如果我们给出错误的报告数字或过时的数据，客户就会找上门来。ClickHouse 让我们有能力非常快速、准确地执行这类分析查询。”

我们采访了 Hayden 和 Erin，了解他们如何重建 Ridgeline 的绩效分析，从他们在 Postgres 上碰到的瓶颈，到决定基于 AWS 上的 ClickHouse Cloud 进行构建，再到帮助他们将客户群扩大一倍以上的 10 倍架构转变。

向上市场迈进，并超越 Postgres

Ridgeline“主要是一家 Postgres 公司，”Erin 说，“Postgres 非常擅长事务处理；如果你有会计或交易业务，它在这方面非常出色。但如果你要做这些大型复杂聚合，需要把大量数据拉到一起并进行分析，ClickHouse 是明显的赢家。”

两年前，Ridgeline 开始接入一类规模大约是其此前所见任何客户 10 倍的客户。这个工作负载本身就很苛刻。Ridgeline 为系统中的每个投资组合推导每日损益数据，生成的表很宽：每个投资组合每天大约写入 40 到 80 列。在这些数据之上运行的分析不太像查询，更像是数学。“这些报告中有很多要求我们拉入这些数据，然后执行本质上相当于 SQL 中积分的运算，”Hayden 说。

在旧的客户负载下，Postgres 还能撑住。但随着 Ridgeline 向上市场迈进，需求变得更大。正如 Hayden 回忆的那样，“已经到了这个地步：我们需要以每日粒度计算可追溯数十年的投资组合自成立以来的报告，而且要在数千个投资组合上完成。”

在这种规模下，可能发生两种情况之一。由于 Ridgeline 运行共享基础设施层，Postgres 实例由多个团队共用，绩效团队实际上会消耗整个集群来计算单个报告。或者任务会撞上硬性上限。“我们会耗尽所有内存容量，不断垂直扩展 Postgres 机器，”Hayden 说。在原始系统上运行这些高端市场报告很可能需要数小时，甚至可能根本无法完成。

Ridgeline 当年想要引入平台的客户代表了 10 到 40 倍的数据量增长。现有架构的任何版本都无法承受这一点。“这是让这些客户上线的一项要求，”Hayden 说。“我们有一些想要签约并让其上线的客户，以推动业务向上游发展，而在我们看来，我们必须提供这些能力。”

因其安全性和治理而选择 ClickHouse Cloud

在评估潜在解决方案时，Ridgeline 的标准始于一个通过/失败的问题：它们到底能不能支持这些报告？凡是能通过这一关的，再按“性能与成本之间的滑动尺度”来评判，Hayden 说。“我们能获得的最快且具有成本效益的解决方案是什么？”

团队考察了 Redshift、基于 Iceberg 的 Trino、SingleStore，以及能让 Postgres 表现得更像列式存储的插件。他们重新审视问题究竟出在 Postgres 本身，还是他们使用它的方式。他们甚至考虑过从零编写一个内存中的计算引擎，并拥有自己的数据类型系统。

最终，ClickHouse 在性能上胜出，而且成本也低于 Ridgeline 询价的其他分析型存储。

下一个决定是如何运行它。他们先自行托管 ClickHouse，并在预发环境中运行了一个可用版本。然后他们问，将其投入生产需要多少成本。“在与我们的首席工程师和 C 级高管进行了大量对话后，我们决定不想投入精力去弄清楚如何运行和运营化它，”Hayden 说。

这样就只剩下了 ClickHouse Cloud 和 Bring Your Own Cloud。决定性因素是安全性。Ridgeline 是一家在 SOC 2 下运营的金融服务公司，而当时的 BYOC 意味着要授予第三方在 Ridgeline 自己的 VPC 内的立足点。（BYOC 现已在 AWS 和 Google Cloud 上正式可用，数据平面运行在客户自己的账户内，SOC 2 Type II 覆盖范围也延伸至 BYOC 部署。）ClickHouse 的托管服务是更干净的选择。Ridgeline 将 ClickHouse 写入其数据共享协议，并通过简单的入站和出站规则来治理这一关系。

隔离要求足够独特，因此 Ridgeline 的工程师和 ClickHouse 的工程师共同设计了这一结构。Ridgeline 需要跨不允许相互接触的环境实现静态数据隔离，因此它为预发和生产运行了独立的 ClickHouse 组织，在它们之间共享额度，并在其下为每个客户运行单独的 ClickHouse 服务。在此过程中，Ridgeline 要求提供 API 端点，以编程方式配置这些基础设施（这些能力如今支撑着 Terraform provider，可供每个 ClickHouse Cloud 客户使用）。“我愿意认为这对双方来说都是一次有益的合作，”Hayden 说。

ClickHouse Cloud 还承担了团队原本需要独自负责的工作。Ridgeline 运行主区域和辅助区域，并在两者之间进行故障转移以实现业务连续性，他们与 ClickHouse 支持团队合作构建了所需的恢复能力。Erin 说：“如果我们只是采用开源 ClickHouse 并试图自己管理一切，负担会重得多。”

通过 ClickHouse 查询 Iceberg 数据

如今，在 Ridgeline 内部生成的会计数据直接写入 ClickHouse。供应商数据（例如托管方数据源、定价数据）按事务方式落入它应在的 Postgres，并通过 ClickPipes CDC 复制到 ClickHouse。而从客户传统提供商处到来的海量历史数据，则走第三条路径。

这第三条路径本身就是一个 10 倍问题。Ridgeline 可以不太费力地处理数亿行历史数据，但随着业务向高端市场发展，客户开始带着十亿行、然后是二十亿行的数据出现。因此，团队构建了一个 Spark 管道来摄取这些批量上传，并将它们落入 Iceberg，在那里存储数十年的历史数据更经济。然后由 Erin 团队构建的适配器按需将该 Iceberg 数据拉入 ClickHouse。

“我们需要完整查看从投资组合成立之初到其在 Ridgeline 系统中当前状态所发生的一切。这就是 Iceberg 表加上 ClickHouse 为我们提供的能力。” —— Hayden Hudgins，Ridgeline 绩效衡量与分析经理

近期数据存储在 ClickHouse 中，每个租户数百 GB，通常涵盖两到四年。较旧的数据保留在 Iceberg 中，并通过 ClickHouse 的 Iceberg 连接器读取。Hayden 说：“该连接器 40 毫秒的延迟没问题。如果你在查询 40 年的数据，人们会预期它稍微慢一些。”

Hayden 指出，物化视图 已成为他团队所提供能力的“支柱”。他们现在运行一系列物化视图，将写入侧数据转换为优化的读取侧视图，并由 ReplacingMergeTree 表引擎 在后台协调一切。他说：“我们定义 SQL，然后说，好吧，我们相信 ClickHouse 内部的 MergeTree 逻辑会把事情处理到它们需要达到的位置。”他还补充说，虽然性能提升很大，但开发的便捷性同样重要。“我们可以在一天内编写一个物化视图，而且我们知道它会按我们希望的方式物化。”

ClickHouse 为 Ridgeline 解锁了什么

该项目成功最清晰的衡量标准，是 Ridgeline 现在能够引入平台的客户规模。旧架构有一个硬性规模门槛，限制了业务增长。借助 ClickHouse，公司平台上运行的客户数量增加了一倍以上，同时果断地向高端市场迈进。

“关键突破在于让以前无法上线的客户得以启用。如果我们没有交付那些 10 倍架构变更，我们就无法签下最终签下的合同。” —— Hayden Hudgins，Ridgeline 绩效衡量与分析经理

在日常工作中，差异体现在 Ridgeline 客户所依赖的绩效报告中。这些是多页 PDF，以大批量方式生成，每个受管理投资组合一份。借助 ClickHouse，曾经运行数小时的批次现在几分钟内即可完成。而且重要的是，这些报告在发出前会被审核并重新运行。

在旧系统下，这个循环会以喝咖啡休息或隔夜等待来衡量。正如 Hayden 回忆的那样：“当时的情况是，好吧，我要启动这个东西，然后去吃午饭或喝杯咖啡，之后再回来查看。”现在，系统中某一部分所做的更改会在约一分钟内流经管道和物化视图，报告会针对 ClickHouse 重新运行，客户可以验证数字是否按预期发生了变化。

正如 Erin 指出的那样，最终用户根本看不到这些。她说：“他们并不真正关心这是 ClickHouse 还是其他什么。他们只看到一份绩效报告。”

为下一次 10 倍跃升而构建

以 ClickHouse Cloud 为基础，Ridgeline 已经在思考下一个门槛。在内部，团队谈论的是“鲸鱼级”客户，其运行的投资组合比 Ridgeline 当前客户的投资组合还要大一个数量级。Hayden 说：“我们在一两年前实现了 10 倍增长，现在我们正试图再次做到这一点。”

这包括针对平台如今才有能力保存的数据提供更深入的功能。正如 Hayden 所解释的那样：“借助 Iceberg 和 ClickHouse，客户可以将大量历史绩效数据带入 Ridgeline，并使这些历史数据与 Ridgeline 计算出的结果一起可用，从而在过渡到 Ridgeline 的过程中保留自成立以来的绩效报告。”

这也包括公司内部的新领域。Ridgeline 的对账团队正在评估 ClickHouse，用于一位潜在客户所要求的近实时分析仪表板。Erin 说：“看起来真正实现近实时的唯一方式就是 ClickHouse。用我们当前的其他工具根本做不到。”

始于绩效分析的模式正在扩散。她补充说：“我们发现越来越多用例，我们的 Postgres 方案将无法胜任。”借助 ClickHouse Cloud，团队有地方放置这些工作负载。Hayden 说：“Ridgeline 内部肯定还有更多 ClickHouse 路线图项目。”