ClickHouse成立基础数据库研究团队ClickHouse Labs

我很兴奋地宣布，我将加入 ClickHouse，组建并领导一个名为 ClickHouse Labs 的新研究团队。我想分享这其中的来龙去脉以及我们的计划。

缘起

我于2013年成为卡内基梅隆大学计算机科学系的教授。我的职业生涯致力于理解现代数据库管理系统（DBMS）内部机制的科学。我优先 追踪每一个新系统，无论是工业界还是学术界的，以理解它们的实现。

自 ClickHouse DBMS 于2016年6月 首次宣布为开源软件 以来，我就知道了它。我对此消息的初始反应是，这一定是虚假宣传，因为它好得令人难以置信。ClickHouse 具有当时仅在少数闭源商业分析型 DBMS 中才有的特性。例如，ClickHouse 用 C++ 编写，并在2016年就支持使用 SIMD 的向量化查询执行。2016年大多数主流的开源分析型 DBMS 都基于 JVM，并且直到几年后才支持 SIMD 优化。

从那时起，我一直密切关注 ClickHouse 的发展。它一直是一个领先的系统，与我们的学术研究项目高度相关。你甚至可以在 我2020年的第一次远程授课 中看到我穿着最初的 ClickHouse 衬衫，那时疫情迫使我们把数据库课程转移到线上。

鉴于这段历史，当 ClickHouse 的联合创始人邀请我建立这个新的研究组时，我感到十分荣幸。与最强大的工程团队之一合作开发下一代数据库技术，这个机会我无法拒绝。这将是一次顶级的合作，就像 Killer Mike 与 El-P 联手 创建嘻哈超级团体一样。

什么是 ClickHouse Labs？

ClickHouse Labs 的目标是建立一个专注于数据库的一流行业研究组织。它不会作为一个孤立的研究机构运作，把想法扔给工程团队。相反，我们将与 ClickHouse 的工程师、客户、合作者和行业伙伴紧密合作，以开发和传播新想法，使 ClickHouse 保持在最前沿。

我们还将与 ClickHouse 的 PostgreSQL 团队合作，帮助将其新兴的托管服务打造为性能和可靠性方面的市场领导者。PostgreSQL 和 ClickHouse 服务于不同的工作负载需求，但它们的结合为我们研究事务性和分析性数据库问题提供了广泛的基础。

我们的目标简单但雄心勃勃：进行具有科学价值的研究，然后帮助将最好的想法转化为对用户重要的技术。我希望达到与开创性行业研究组织相同的影响力水平，例如 IBM Research 和 Microsoft Research。这些组织证明了工业实验室可以同时推进基础计算机科学、影响商业产品，并培养一代代数据库研究人员。这就是我们想要延续的传统。

下一步是什么？

ClickHouse 团队在发布其工作的深度技术材料方面已经有着卓越的记录。自2021年公司成立以来，其工程师们已经发表了 详细文章 来解释 DBMS 的实现。还有 2024 VLDB 论文 描述了 ClickHouse 的核心架构。这些工作如此详尽，以至于我把它们作为阅读材料布置给我在卡内基梅隆的学生。与此同时，ClickHouse 工程团队已经探索了一些有趣的想法和优化，但尚未有时间充分验证并投入生产。我的首要任务之一是帮助加速这一过程。我们将以此作为跳板，探索进一步推动 ClickHouse 的新想法。

我们将研究的一个更大的问题是，像 ClickHouse 和 PostgreSQL 这样的 DBMS 如何融入新兴的 AI 和智能体技术。这个问题有两个方面。第一是确定 DBMS 应该是什么样以更好地支持智能体。第二是确定智能体如何改进和自动化 DBMS 本身的开发。所有东西都摆在桌面上：新的硬件、新的算法、新的数据结构、新的执行策略，以及构建和运营 DBMS 软件的新方式。虽然我还没有这些问题的答案（这就是为什么它是研究），但我确信的一点是，ClickHouse 坚实的关系模型基础使其能够很好地随着这些数据密集型工作负载一同演进。

我的职业生涯一直在研究数据库系统是如何构建的，并帮助培训构建它们的人。通过 ClickHouse Labs，我们现在有机会创建一个致力于推进这两者的组织。