iSAM Funds用ClickHouse Cloud构建期权研究平台，解决万倍数据难题

iSAM Funds是一家总部位于英国、专注于系统化投资的另类资产管理公司。这家公司极度依赖数据驱动。“数据是我们架构中极为关键的一部分，”iSAM 期权开发主管 Steve Barham 表示。“我们的技术需求取决于我们能观察到哪些数据、如何存储这些数据，以及我们能从中提取什么信息。”

iSAM 期权团队大约在三年前成立，其广泛职责是将跨资产期权能力引入公司。

正如 Steve 所解释的，捕获标的上市工具（例如期货、上市股票）的市场数据是早已成熟的做法。这些市场频繁跳动，处理这种数据流对大多数公司来说是家常便饭。“当你想要在此基础上开始研究期权市场时，挑战就来了，”他说。“当标的资产变动时，有多少相关期权会随之变动？”

他估计这种扇出效应涉及大约 10,000 个代码。“从数据工程的角度来看，这会把带入一个截然不同的领域，”他说。下游的一切都继承了这个乘数效应——分发数据、存储数据，然后再把它查询出来。

我们与 Steve 进行了交流，了解他的团队正在解决的技术挑战，以及ClickHouse Cloud在 AWS 上如何帮助他们处理多得多的数据、降低相关复杂性，并缩短从研究员的想法到经过验证的假设之间的路径。

在解决问题之前先估量问题规模

Steve 说，第一步是衡量问题。这从参考数据开始，针对给定的标的确定其存在哪些期权，并针对给定市场确定标的集合是什么样子。这会告诉你需要处理多少数据。正如 Steve 所描述的，目标是尽可能构建覆盖市场大部分内容的一致快照，并基于这些市场数据构建派生数据管道和交易系统。

扩展时的一个关键考虑因素是市场数据活动在各交易所产品之间的分布，而这种分布很少是均匀的。“CME Group 上市了数百个期货市场，其中许多都有相关的期权市场，”Steve 说。“但如果某个市场成交量很小，那你就没有太大的数据挑战。”反面的例子则是国债或标普期货之类的东西，它们有许多上市合约和大量流动性流经其中。他将这种活动描述为在各市场之间分布不均。这使得简单的水平分区或分片不那么有效：各市场的数据量差异很大，而且市场数量太少，无法让朴素分区可靠地平衡负载。

对 Steve 和他的团队来说，构建期权数据平台最终归结为两个核心挑战。“分析你正在处理的数据量是第一阶段，然后让自己确信你将能够分发、存储和查询这个数据量，这是下一步，”他说。“这就是 ClickHouse 为我们发挥作用的地方。”

从 Postgres 到 ClickHouse

在构建新东西时，Steve 从创新代币的角度思考决策。“你打算把创新代币花在什么地方？”他问道。“是花在业务领域？技术领域？还是两者的某种组合？”

在技术方面，Steve 的团队选择了“无聊、熟悉”的路线，用 Postgres 做原型。这让他们在迭代中取得了不错的进展，使他们能够运行实验并衡量问题。但随着团队在想要捕获的数据广度和深度上的雄心不断增长，他说，“很快就变得很清楚，我们需要相当根本性地改变数据的持久化方式。”

iSAM 内部其他团队一直在以不同程度 sophistication 使用 ClickHouse，反馈回来的报告足够令人鼓舞，使 Steve 愿意投入时间进行试验。他在相同硬件上为该团队的数据设置了一条并行的持久化路径，以了解这项技术能做到什么。

结果令人印象深刻。按时间序列顺序存储数据，且没有他认为特别需要调优的地方，就实现了相对于团队 Postgres 占用空间 35-50 倍的压缩。单核摄取从每秒 8,000 行提升到 800,000 行。

同样宝贵的是 ClickHouse 在摄取和出口方面的灵活性。iSAM 期权团队的许多内部数据基础设施都构建在 Apache Arrow 之上。“我可以直接对 ClickHouse 说 Arrow，”Steve 说。“我可以发送一个 Arrow 编码的帧去插入，并确信它会到达那里；我也可以用同样的方式把数据拉出来。”无论是 Arrow、Parquet 还是 JSON，每当数据跨越边界时，他都不必不断地在编码之间重新洗牌数据。“这种对数据在传输中应该长什么样不持偏见——这是一件非常重要的事，”他说。

选择 ClickHouse Cloud 以专注于创新

该团队在几周内就走上了 ClickHouse 的生产环境。“在构建时，上市时间至关重要。我喜欢迭代快速运行。我喜欢尽可能快地向人们展示变更结果，这样我们就能迅速找到正确的产品并在此基础上迭代，”Steve 说。

一两个月内，问题就从 ClickHouse 是否可行转变为团队是否应该自己运行它。“很明显，这将成为我们数据基础设施的核心部分，”Steve 说。

“我不想把创新预算花在学习如何在本地运行 ClickHouse、故障转移，以及当它是你主要数据存储之一时所需的一切。我只想要一个交钥匙解决方案，让我能够有信心地继续前进。这就是 ClickHouse Cloud 给我的。” — Steve Barham，iSAM 期权开发主管

作为一家系统化基金，ClickHouse 的托管服务仍须满足 iSAM 的要求。iSAM 自身拥有相当规模的 AWS 基础设施，并据此对通往其 ClickHouse 服务的网络访问进行管控，通过公司现有的直连连接接入 AWS 来访问这些服务。该部署与 iSAM 的企业身份认证体系集成，这是该平台的一项核心要求。

一项被证明很有用的较新能力是将备份推送到 iSAM 自己的存储桶中。团队借此将一部分生产数据拉取到本地 ClickHouse 实例中，以提升开发人员效率，同时与生产负载隔离。

快得足以让事情保持简单

对 Steve 来说，ClickHouse 最大的优势之一在于其性能降低了复杂性。汇总表、物化视图、以降采样形式存储的预聚合数据——“很多这类事情我们干脆不做了，因为有了列式存储和向量化执行，ClickHouse 已经足够快，”他说。“如果我想在页面上放一张包含一年柱状数据的图表，那没问题，我直接跑那个查询就行。”

这并不是说简单在所有地方都是目标。“我很高兴我们的系统存在高复杂度的部分，”Steve 说。“那是不可避免的。如果没有这些，我们就不会是一家有竞争力的企业。”他不希望的是复杂性堆积在 Web 前端，或者堆积在一条唯一职责就是预聚合数据的流水线中。“我希望复杂性待在正确的位置。”

正如 Steve 所说，这就是一个快速数据库为团队带来的东西：“对于像 ClickHouse 这样高性能的系统，我们可以把任何查询扔给它，它就是能跑。”

从业务角度看，这种速度体现在想法能被多快验证上。iSAM 的研究人员并不直接查询 ClickHouse（访问经由该部门自己的系统进行），但其性能让他们能够跨完整标的池和完整历史数据快速检验新想法。“我的目标是让数据探索更快、更一致，从而缩短我们的研究人员从想法到上市时间的时间跨度，”Steve 说。

“上市时间已成为最重要的指标，尤其是在 AI 时代。你能多快检验你的假设？你能多快看出这是否行得通？ClickHouse 在这方面真的非常非常有帮助。”—— Steve Barham，iSAM 期权开发主管

仍有持续增长的空间

另一件事 ClickHouse Cloud为该部门提供的是余量。在 Steve 看来，投入更多算力进行并行数据集构建，与其说是消除了某个约束，不如说是把它转移到了状态存储中。数据存储必须与其他一切同步扩展。

当一次大规模重建即将到来，团队知道他们将会连续数小时高强度使用 ClickHouse 时，他们会把实例扩容、运行回填，然后再让它缩容回去，而不是为偶尔出现的峰值去配置一台本地机器。Steve 称之为“一种租用非常昂贵硬件的极具成本效益的方式”。

随着该部门持续扩张，这种余量变得更加重要。团队在三年内从期货扩展到外汇再到股票期权，每一步都让底层数据成倍增长。Steve 说，他们接下来的重点是以更快的速度跨完整历史重建大型数据集。

除了性能和可扩展性，Steve 还强调了他从 ClickHouse 团队获得的支持，包括一个从迁移初期就一直运行的共享 Slack 频道。“能够与真正懂技术的人交流，让我们省去了大量手把手的指导和问题分诊，”他说。

归根结底，Steve 的部门存在的意义是从波动率空间中提取信息，并据此构建策略。这意味着要持有比传统交易台多得多的数据，并尽快得到答案。借助 ClickHouse Cloud，完整历史数据始终在线且可查询，问题与答案之间的流水线更少，并且随着每一个新市场让底层数据成倍增长，平台也能随之扩展。