开源数据层将赢得AI未来
DataHot 速览
AI改变了重写应用代码的成本,但持久化数据层的迁移成本依然高昂。封闭数据平台会让路线图、定价和部署选择受制于人,而开源数据层能保留关键控制力。TiDB 已被 Kimi、Pinterest、Atlassian、Dify 等用于生产负载,证明开放性与规模化并非取舍。
为什么值得关注:数据从业者可借此评估AI时代数据平台选型,理解开放数据层在避免锁定和保持控制权方面的战略价值。
本文目录 10 节
译文
AI 逐段翻译关键要点
- 人工智能改变了重写应用程序代码的成本,而不是移动持久状态的成本。数据层才是控制真正持续存在的地方。
- 封闭的数据平台使你的路线图、定价和部署选项成为别人的决定,集成越深,就越难逆转。
- 开源不仅仅是防止锁定。它是建立优势的地方。
- Kimi、Pinterest、Atlassian 和 Dify 在 TiDB 上运行生产工作负载,这表明开放性和规模并非不可兼得。
在云时代的大部分时间里,基础设施决策遵循一种熟悉的模式:选择通往生产的最快路径,接受一些专有依赖,然后再优化。人工智能打破了这种模式。编码代理现在可以在数小时内重塑应用程序,而模型、框架和工作负载形态在其下不断变化。
这使得数据层成为公司不能放弃控制的唯一地方。数据层之上的所有东西都可以廉价重写。持久状态则不然。这就是开源数据层的理由:它在最需要可选性的地方保留了可选性。
你的数据层就是你的控制平面
模型、应用程序框架和主流代理架构将会改变。人工智能应用的持久状态保持不变:客户上下文、权限、事务、嵌入、对话历史、工作流状态和操作遥测都存储在数据层中。
这使得数据库不仅仅是基础设施。它是应用记忆和行为的控制平面。

图 1:数据层之上的一切现在都可以廉价替换。其中的状态则不然。
封闭的数据平台将该控制平面置于供应商定义的边界之内。你继承了其路线图、定价、部署约束和架构假设。当你的业务需要供应商不支持的东西时,你只能等待,通过支持合同升级,或围绕限制重新设计。你不能自己解决问题,也不能把技术带到供应商未优先考虑的地方。集成越深,你保留的控制就越少。
为什么开源数据层转变了权力平衡
开源数据层并不消除转换成本。它将硬依赖转化为选择。你可以阅读实现,自己运行,在环境之间移动,影响其方向,或选择不同的提供商,这些选项都不需要供应商的许可。
无需等待路线图即可诊断和扩展
你还可以根据业务特定需求塑造数据层。你的工程师可以添加功能、优化热点访问模式或消除瓶颈,而不是提交功能请求。随着人工智能对稀缺计算的需求增加,削减 CPU、存储或数据移动的工作负载特定优化直接体现在利润率上。
调试也发生了变化。当出现问题时,诊断不会在供应商边界停止。你的工程师可以追踪失败路径,重现行为,提供变通方案,或准备补丁,而无需在支持队列中等待。商业支持仍然重要,但它成为加速器,而不是唯一获得答案的途径。
这些改进在开源基础上累积成专有技术:更快的产品、更低的成本结构或竞争对手无法快速复制的功能。开源不仅仅是防止锁定。它是建立优势的地方。
编码代理使开放性更有价值
编码代理提高了开放系统的回报。代理可以追踪代码库中的行为,诊断不兼容性,生成迁移工具,提出优化方案,或构建缺失的集成。每个可见的接口、测试、问题和实现细节都成为工程师及其代理的可用上下文。
封闭系统只暴露供应商选择记录的内容。开放系统暴露机制。随着软件创建变得自动化,检查和修改堆栈每一层的权利变得更加宝贵,而不是更少。
人工智能工作负载拒绝局限于单一环境
人工智能应用通常从关系模式或文件系统开始。几个月内就需要聊天历史、租户隔离、全文和向量搜索、工作流状态、分析和快速增长的操作数据。代理生成突发、并发、有状态且难以预测的工作负载。
数据层必须跨用户、事务、数据类型、区域和访问模式扩展,而无需强制重建应用。仅许可证并不能实现这一点。架构才能。
TiDB:无上限的开源数据层
TiDB 是一个开源分布式 SQL 数据库:一个水平可扩展的系统,支持 SQL 并在节点间保持 ACID 事务。它提供 MySQL 兼容接口,并支持混合事务和分析处理(HTAP),允许事务查询和分析查询在同一个系统中针对相同数据运行。
TiDB Cloud 还提供了一个代理友好的文件系统 API,使代理能够以两种方式处理相同数据:通过 SQL 或通过熟悉的文件系统操作。这结合了文件系统的可访问性与关系数据库的结构、一致性和查询能力。代理可以通过自然的面向文件的界面导航和操作数据,同时不放弃底层数据库的保证和能力。
无状态 SQL 层独立于存储进行扩展。TiKV 使用 Raft 共识在存储节点间复制数据,并自动处理故障转移。TiFlash 在相同数据上提供列式分析读取,而 PD 管理放置和调度。 TiDB 架构文档解释了这些组件如何协同工作。
这种组合是关键。没有运维成熟度的开源无法在生产环境中生存,而没有可移植性的规模只是以另一种形式重新制造锁定。TiDB 让组织能够自由地按照自己的方式运行和修改技术,其架构设计旨在无需反复重写应用程序即可扩展。它的 MySQL 兼容性为开发者和编码代理提供了一个他们已经理解的表面,而其文件系统 API 使同一数据库对代理来说更易于访问和使用。
生产部署显示的内容
论证已从理论转向生产。四家公司面临四种不同的扩展问题——AI 原生托管、成熟的互联网规模、极端的多租户以及碎片化的技术栈——都汇聚在同一个开源数据层上。他们公布的结果:
| 公司 | 问题 | TiDB 结果 |
|---|---|---|
| Kimi(月之暗面) | Kimi 的 AI 代理平台将提示词转化为一个可实时托管的应用程序,为每个生成的网站创建数据库需求 | 亚秒级数据库配置,空闲时每站点零计算成本,一个集群支持数千万并发租户站点 |
| 遗留的图服务分散在 HBase 和 MySQL 中,应用层索引,十年技术债务 | 重建为基于 TiDB 的 PinGraph:p99 延迟降低高达 10 倍,基础设施成本降低超过 50%,无需手动分片 | |
| Atlassian | 数百万 Forge 租户,元数据爆炸,庞大的分片 PostgreSQL 系统 | 750 多个 PostgreSQL 集群整合为 16 个全球集群,一个系统中包含超过 300 万张表,每个集群验证了 50 万个并发活动连接 |
| Dify | 近五十万个隔离的数据库容器,涵盖向量、文档、聊天记录和关系数据 | 一个统一系统,基础设施成本降低 80%,运维开销减少 90% |
Pinterest 将 TiDB 的开源许可作为其选择标准的一部分。Manus 在大约两周内迁移到 TiDB Cloud,现在在其上运行 代理上下文持久化。 Plaud 用 TiDB Cloud 替代了 MySQL 和 Amazon S3,消除了转录数据块和元数据之间的应用层协调。所有这些公司的模式都是一样的:工作负载超出了架构的承受能力,而检查和重塑数据层的能力缩短了解决问题的路径。
托管便利与开源控制可以共存
开源数据层并不强制你自行运维数据库。托管服务通过自动化、可靠性、安全性和支持提供真正的价值。问题在于当你的需求变化时,哪些可能性仍然存在。

图 2. 托管和开源是独立的维度。只有其中一个决定你是否能够离开。
你是否能部署到其他地方、阅读核心系统、避免专有接口或自行运维?在开源的基础上,托管服务是你为价值做出的选择,而不是因为你离开不切实际而接受的状况。AI 时代需要便利但不能被束缚。
拥有记住一切的那一层
大多数公司不会拥有他们使用的模型、这些模型运行的云,或者他们的代理生成的大部分代码。但他们确实需要拥有记住客户、交易、决策、权限和上下文的那一层。
开源保护这种所有权。在 AI 时代胜出的公司将快速行动,同时保持改变方向的自由,而这种自由始于数据层。
拥有数据层意味着知道它必须做什么。探索我们对 上下文平台模式 的解析:在向量和结构化行上提供统一的 SQL 接口,事务和分析读取彼此保持新鲜,以及能够吸收代理突发负载的计算能力。
这篇内容对你有用吗?
反馈只用于改善内容筛选,不等同于收藏