OLAP、性能优化与降本案例——性能竞赛进入成本阶段
近 7 天收录 9 个事件 · 每 6 小时更新
AppFolio采用Amazon MSK Express brokers改造其流式数据平台，以替代耗时数小时的再平衡和手动存储规划。该平台每日处理数百万笔交易，通过CDC和服务器端事件实时接入数据，并支撑实时欺诈检测、财务报告和自动化物业管理等下游场景。文章详细介绍了其旧架构的局限与新架构的自动扩展能力。
文章指出企业风险管理当前受制于数据延迟而非建模复杂度，遗留批处理架构造成可见性缺口。以硅谷银行事件为例，其因利率快速上升出售证券实现18亿美元亏损，暴露数据架构缺陷。Deloitte调查显示超90%受访者认为风险管理对战略目标更重要。现代CRO需要实时、集成的数据基础来支撑决策。
本文是Netflix构建实时分布式图（RDG）系列的第三篇，重点介绍查询层设计。作者Nilesh Mishra和Ajit Koti展示了如何通过gRPC执行API支持对数十亿节点和边的低延迟查询，并兼顾灵活性与性能。结合前文的数据处理流水线与存储层设计，完整呈现了Netflix大规模实时图数据平台的技术路径。
本文介绍如何利用Debezium CDC将实时数据迁移到TiDB，覆盖从MySQL、PostgreSQL、Oracle等数据库捕获变更并流式写入TiDB的架构。方案通过Debezium读取源库事务日志，将变更事件发送到Kafka，再经JDBC sink写入兼容MySQL协议的TiDB。初始快照与持续流式同步相结合，实现近零停机迁移。文中以PostgreSQL为例验证了“任意源→Kafka→TiDB”的可复用管道。
pg_clickhouse 0.10加入相关子查询下推、重构的纯C驱动和更多聚合函数。在22个TPC-H查询中，已有16个可完整下推；官方给出的Q17结果从32.7秒缩短到37毫秒。版本继续强化PostgreSQL查询ClickHouse时的透明加速能力。
DuckDB计划从v2.0开始支持Parquet和CSV异步读取，解决EC2/S3等计算存储分离环境中工作线程等待网络I/O的问题。随着DuckDB从本地SSD查询扩展到远程数据湖和服务化场景，异步请求有望更充分利用带宽。
Epic Games与AWS合作，对其Amazon OpenSearch Service集群进行优化，用于Fortnite游戏遥测数据的存储与分析。团队通过调整实例规格、重新平衡分片、优化索引映射以及升级引擎和Graviton版本，在降低运营成本的同时显著提升了查询延迟和吞吐量。该实践支撑了数十亿级遥测事件的处理，帮助Epic识别玩法趋势并辅助实时运营决策。
韩国时尚平台Musinsa将其受众引擎从自托管ClickHouse迁移至ClickHouse Cloud，存储成本降低86.5%，总拥有成本最高下降71.4%。ClickPipes简化了实时数据摄入，该CDP覆盖1640万会员，并加入支持自然语言查询的AI助手MAI。
Snowflake于2026年6月20日至25日发布10.22版本更新，宣布Dynamic Tables和Insert-only Streams在Delta Direct表上正式可用（GA）。该版本更新说明已发布在官方文档中，并提供了变更日志。这标志着Snowflake进一步扩展对Delta Lake格式的原生支持，增强数据平台互操作性。