一招教你鉴定真假Data Agent
原文
一招教你鉴定真假Data Agent
原创 2K 2K 数据思考
在小说阅读器读本章
去阅读
在小说阅读器中沉浸阅读
支持原创，请点击右上角，设为星标+关注+转发，谢谢！
市场上几乎每个数据厂商、AI厂商都在说“我有Data Agent”。
但把产品拿过来一测，八成是NL2SQL套了个聊天框，再加个ReAct循环装装样子。剩下的两成里，也只有一小部分是真货。
怎么分辨？不用看PPT，不用听架构宣讲。
拿一套审查清单对着产品逐项验，半小时就能见分晓。
先建立一个判断基准
企业级Data Agent不是“会写SQL的聊天框”。
它的架构本质是：以Agent Runtime为核心，以Data Gateway约束数据访问，以Context Engineering管理模型可见信息，以Artifacts和Trace沉淀证据链，以Control Plane满足企业安全、治理和运维要求。
换句话说，真正可落地的Data Agent必须同时回答四个问题：
- 它能不能理解数据？
- 它能不能安全地访问数据？
- 它能不能给出可验证的结果？
- 它能不能把一次分析沉淀成可复用的企业资产？
四个都答得上，才是真Data Agent。缺一个，就是某种程度的套壳。
第一关：语义层是不是真存在
这是最关键的一关。也是套壳货最容易露馅的地方。
真Data Agent：底层有一层统一的语义层。把“毛利率”“活跃用户”“销售额”这些业务指标的口径、维度、聚合规则、版本变更都结构化定义好了。Agent不直接对原始数据库生成SQL，而是把自然语言解析成“指标+维度+筛选条件+时间范围”的语义查询，再由语义层翻译成SQL执行。
假Data Agent：大模型直接读表结构、猜字段含义、现场写SQL。这就是典型的NL2SQL路线——演示惊艳，生产翻车。只要业务口径稍微复杂——“销售额”在财务、运营、管理层是三个口径——模型就会猜错。
怎么验：
拿一个你们公司口径有分歧的指标去问。比如“上个月销售额是多少”。
真Agent会先反问“您指的是财务口径、运营口径还是管理层口径？”或者直接在结果里标注用了哪个口径版本。
套壳Agent会直接吐一个数字。你再去核对，十有八九口径不对。
让Agent直接面对原始数据库，通常会把口径歧义、权限风险和结果不可信问题同时放大。语义层不是可选项，是企业级Data Agent的基础设施。
第二关：任务是不是“目标驱动”而非“指令驱动”
Text2SQL与Data Agent的核心差异在这里。
真Data Agent：你给它一个目标——“分析Q3华东区销售下滑的原因，给我一份能发给VP的报告”——它会自己拆任务：确认异常→维度下钻→卡点识别→外部因素排查→量化回捞→生成报告。
假Data Agent：你说“查一下Q3华东销售额”，它生成一条SQL，返回一个数字。多一步都不会。
怎么验：
给一个多步骤、中途需要做判断的任务。比如“帮我看看上个月哪些客户流失了，分析流失原因，给高价值客户做个留存方案”。
真Agent会自己拆步骤、调不同工具、做归因、出方案。套壳Agent要么只做第一步“查流失客户”，要么每步都得你手动推。
真Agent的架构通常是多Agent协作：Task Planner拆解任务，Modeling Agent建模，Creative Agent做可视化，Query Agent问数，Navigation Agent操作页面。单Agent伪货做不出这种复杂度。
第三关：有没有“证据链”和“自愈能力”
这一关验的是“可验证性”。
真Data Agent：每一次回答都留下完整trace。查了哪些表、用了什么SQL、经过哪些步骤、产出了哪些文件、结论的依据是什么。出错了有自愈机制：FIELD_NOT_FOUND就去语义层搜相似字段，SYNTAX_ERROR就重新生成SQL，PERMISSION_DENIED就提示用户升级权限，TIMEOUT就优化查询。
假Data Agent：只输出一段自然语言结论。你问“为什么这么说”，它要么复述结论，要么胡编一条理由。
怎么验：
让Agent回答一个归因问题，然后追问“你的依据是什么？用了哪些数据？走的是哪个口径？”
真Agent能调出完整的分析路径和执行痕迹。套壳Agent会说“因为这是搜索结果”或者“根据数据分析得出”——空话套话。
一个不可审计的Data Agent，在生产环境里就是一颗定时炸弹。业务方拿着一个没有证据链的结论去做决策，后果比没有Agent更糟。
第四关：权限和治理是不是横切全局
真Data Agent：有独立的Data Gateway做安全闸门。Agent不能直接拼连接串访问数据库，更拿不到数据库密码。权限控制是字段级、组织级、操作级的，RBAC/ABAC混合模型。每一次访问都有审计日志。
假Data Agent：要么没有权限控制——直接把全表数据吐出来。要么权限是糊弄式的——只在前端隐藏，后端SQL还是全量查。
怎么验：
用三个角色去测同一个问题。
财务总监问“公司总营收”→应该能拿到。
普通员工问“公司总营收”→应该被拒。
普通员工问“自己部门的营收”→应该能拿到自己部门的。
套壳Agent要么全放行，要么全拒绝，要么“财务总监”和“普通员工”看到的完全一样。
第五关：反馈能不能沉淀成企业资产
真Data Agent：用户纠偏过一次“毛利率应该用V2.0口径”，下次再问同类问题，Agent自动用V2.0。Skill、分析模板、归因方法论都被组织化沉淀，可被复用。
假Data Agent：每次都是从零开始。你昨天纠正过的错误，今天它照样犯。
怎么验：
连续两天问同一个有歧义的问题，中间故意纠偏一次。看第二次回答是不是吸收了第一次的纠偏。
套壳Agent的记忆只存在于单次会话里。会话结束，它就忘了。
第六关：现场跑真实场景，不接受预设Demo
前面五关是架构审查。最后一关是实战。
掏钱之前，追着供应商问这几句：
- “它能不能自己拆解任务，还是每一步都得我配置好？”
- “它是真调用我的系统办事，还是只给建议？”
- “遇到没预设的情况，它怎么处理？举个真实例子。”
- “能不能拿我这边一个真实、带意外的场景，现场跑一遍给我看？”
能痛快接住这几个问题、还敢拿你真实场景现场演的，大概率是真的。开始打太极、只肯放预设好的demo的，就得小心了。
套壳Data Agent的三个典型特征
把上面六关浓缩一下，市场上“假Data Agent”的长相高度一致：
特征一：单Agent，NL2SQL直连数据库，底下没语义层锚定。 这是ChatBI加了个ReAct循环，换皮。
特征二：多Agent有了，但Hop路径没约束，指标没版本，对账靠运气。 这是“会跑的玩具”，不是生产级。
特征三：任务终止在“出报告”，不出业务闭环。 这是高级一点的Copilot，还没到Agent。
真Data Agent的硬指标
我给自己定了一套筛选用：
- 底下必须有统一语义层+orchestration surface，否则跨表准确率撑不过70%
- 分析路径必须可回放、可审计，否则业务不敢用
- 必须能反哺指标层/治理层，否则只是消费端玩具
- 必须有多Agent编排能力，单Agent干不了复杂分析链路
- 必须有自愈机制，出错能自己分类、自己修复
按这个筛，目前市场上能打的屈指可数。剩下的，大部分是“Agent-washing”的BI。
小结
鉴别真假Data Agent，本质就是鉴别它“脚下有没有踩着语义世界”。
模型参数堆得再高，没有统一语义层，就是NL2SQL套壳。架构吹得再玄，没有trace和审计，就是玩具。Demo做得再炫，不敢跑你真实场景，就是PPT产品。
记住一个最简单的判断：
真Data Agent是“企业数据团队的AI数据专家”——懂表结构、懂指标口径、懂权限边界，能把分析过程变成可审计、可回放、可复用的产出。
除此之外，都是冒牌。
拿这套清单去测你正在评估的厂商，半小时出结果。比看十份PPT都管用。
如果你感觉写得好，请点击右上角，设为星标+关注+转发，谢谢！
粉丝们看过来，本公众号作者新出了一本书《一本书讲透数据指标体系》，有需要的可通过以下链接购买（现在价格是五折，有史最低价，赶紧下单），或去京东搜索书名，通过您中意的链接下单。
如果你喜欢本书，可去‘豆瓣’网给个好评，如果对本书有任何问题或建议，请在本公众号与作者联系反馈。
预览时标签不可点
微信扫一扫 关注该公众号