ClickHouse成立基础数据库研究团队ClickHouse Labs

我很激动地宣布，我将加入 ClickHouse，建立并领导一个新的研究团队，名为ClickHouse Labs。我想分享它是如何产生的以及我们计划做什么。

这一切是如何开始的

我于2013年开始在卡内基梅隆大学计算机科学系担任教授。我的职业生涯一直致力于理解现代数据库管理系统（DBMS）内部机制的科学。我优先考虑跟踪每一个新系统，无论是工业界还是学术界的，以理解它们的实现。

自从ClickHouse在2016年6月首次作为开源软件发布以来，我就一直了解它。我最初对这个消息的反应是，它一定是骗人的，因为它好得令人难以置信。ClickHouse具有当时只在少数闭源商业分析型DBMS中才有的特性。例如，ClickHouse是用C++编写的，并在2016年支持使用SIMD的向量化查询执行。2016年最著名的开源分析型DBMS大多基于JVM，并且直到多年后才支持SIMD优化。首次宣布为开源软件是在2016年6月。我对此消息的最初反应是，它一定是空中楼阁，因为它好得令人难以置信。ClickHouse拥有当时仅在少数闭源商业分析型数据库管理系统中才有的功能。例如，ClickHouse用C++编写，并在2016年支持使用SIMD的向量化查询执行。2016年最著名的开源分析型数据库管理系统大多基于JVM，并且直到多年后才支持SIMD优化。

从那时起，我一直密切关注ClickHouse的发展。它一直是一个领先的系统，与我们的学术研究项目高度相关。你甚至可以在我2020年首次远程讲座中看到我穿着我原来的ClickHouse衬衫，当时疫情迫使我们把数据库课程转移到线上。

鉴于这段历史，当ClickHouse联合创始人邀请我在ClickHouse建立这个新的研究小组时，我感到很荣幸。有机会与最强大的工程团队之一合作开发下一代数据库技术，是我无法拒绝的机会。这将是一次更高水平的合作，就像Killer Mike与El-P联手创建嘻哈超级组合一样。

什么是ClickHouse Labs？

ClickHouse Labs的目标是建立一个专注于数据库的一流行业研究组织。它不会作为一个孤立的研究组织运作，把想法扔给工程团队。相反，我们将与ClickHouse工程师、客户、合作者和行业伙伴紧密合作，开发和传播新想法，使ClickHouse保持领先地位。

我们还将与ClickHouse的PostgreSQL团队合作，帮助其新兴的托管服务成为性能和可靠性方面的市场领导者。PostgreSQL和ClickHouse服务于不同的工作负载需求，但它们的结合为我们研究事务性和分析性数据库问题提供了广泛的基础。

我们的目标简单而雄心勃勃：开展具有科学价值的研究，然后帮助将最佳想法转化为对用户重要的技术。我希望达到与开创性行业研究组织相同的影响力水平，例如IBM Research和Microsoft Research。这些团体证明了工业实验室可以同时推进基础计算机科学、影响商业产品并培养一代又一代的数据库研究人员。这就是我们要继续的传统。

下一步是什么？

ClickHouse团队在发布其工作的深度技术材料方面已经有着出色的记录。自2021年公司成立以来，其工程师已经制作了详细文章来解释DBMS的实现。还有2024年VLDB论文描述了ClickHouse的核心架构。这些工作非常详尽，以至于我将其作为卡内基梅隆大学学生的阅读材料。与此同时，ClickHouse工程团队已经探索了一些有趣的想法和优化，但尚未有时间充分验证并投入生产。我的当务之急之一是帮助加速这一过程。然后我们将以此为基础，探索推动ClickHouse更进一步的新想法。

我们将研究的一个更大的问题是，像ClickHouse和PostgreSQL这样的DBMS如何适应新兴的AI和代理技术。这个问题有两个方面。第一是确定DBMS应该是什么样子才能更好地支持代理。第二是确定代理如何改进和自动化DBMS本身的开发。所有内容都摆在桌面上：新硬件、新算法、新数据结构、新执行策略以及构建和操作DBMS软件的新方法。虽然我还没有这些问题的答案（这就是为什么它是研究），但我确定的一点是，ClickHouse坚实的基于关系模型的基础使其能够很好地与这些数据密集型工作负载一起发展。

我的职业生涯一直在研究数据库系统是如何构建的，并帮助培养构建它们的人。借助ClickHouse Labs，我们现在有机会创建一个致力于推进这两者的组织。