Google Cloud 推出基于 BigQuery 与 Looker 的企业AI Agent可观测性方案

追踪智能体推理过程并保护隐私

企业可观测性需要在诊断遥测与严格的数据隐私边界之间取得平衡。由于追踪功能涉及数据摄入和存储成本，Google Data Cloud 将运营遥测与对话内容分离，使管理员和智能体所有者能够独立治理每一层。

在项目或组织层级，管理员可以在其环境中启用 Cloud Monitoring（请求量、延迟和令牌用量等聚合指标）和 Cloud Trace（每个请求的逐步 span），并使用 Cloud Trace 可观测性作用域跨多个智能体项目整合遥测数据。为保护敏感数据，这些运营指标和经过净化的第一方追踪 span 不包含客户核心内容（例如用户提示、模型响应、内部思考和生成的 SQL）。

当您需要更深入的对话记录审计时，智能体所有者和编辑者可以按智能体选择启用对话日志记录：

• BigQuery 中受治理的对话日志记录： 启用后，Google 管理的服务代理会通过 BigQuery Storage Write API 将用户提示、响应和轮次级遥测数据流式写入客户拥有的 BigQuery 表（agent_events），并继承您数据集的 IAM 权限、CMEK 和 VPC Service Controls。内置隐私护栏会在每一轮次前强制执行故障关闭检查——当知识源使用行级安全、列级策略标签或动态数据脱敏时跳过日志记录——而故障开放执行可在发生日志记录错误时保持用户的聊天会话不中断。
• 自定义第三方智能体的完整追踪树： 虽然第一方对话日志记录会有意剥离底层工具参数和内部 SQL，但在 ADK 或 LangGraph 上构建自定义智能体的开发者可以使用开源 ADK 插件（BigQueryAgentAnalyticsPlugin）对其代码进行插桩。通过一行代码设置，SDK 即可将完整的工具调用执行树、时间序列遥测和多模态负载直接流式写入 BigQuery。
• 仓库内根因与漂移分析： 由于对话日志原生落在您的 agent_events 表中，您无需单独的导出管道即可诊断故障。您可以运行 BigQuery AI 函数（例如用 AI.GENERATE 汇总错误模式，以及用 AI.EMBED 结合 VECTOR_SEARCH 聚类反复出现的问题），或使用开源 bigquery-agent-analytics Python SDK 和 Colab 入门笔记本 进行事后语义漂移聚类和 LLM 作为评判者的情感分析。

使用 FinOps 护栏控制令牌成本

随着智能体采用率的增长，FinOps 和平台团队需要清楚了解消耗情况，同时配备主动控制措施以防止支出失控。随着促销试用定价目前适用于 Conversational Analytics，现在是建立基线用量和成本护栏的好时机：

• 细粒度令牌和延迟追踪： 在 BigQuery 对话日志中，每一轮次都会记录输入、输出、思考、缓存和总令牌数以及总轮次延迟，而 Looker System Activity 会报告跨商业智能（BI）工作负载的估算输入和输出令牌。
• 开箱即用的可观测性仪表板： 您可以在 BigQuery Studio 监控选项卡和原生 Looker System Activity 仪表板中跟踪预计令牌用量和互动情况，或使用开源七页 Data Studio 报告模板和 agent_events 日志数据通过 BigQuery SQL 进行查询，BigQuery Agent Analytics GitHub 仓库中提供了自托管 Streamlit 应用。
• 主动查询和令牌支出上限： 为防止意外收费发生，您可以在智能体上配置每次查询的 BigQuery 字节扫描上限（big_query_max_billed_bytes），该上限利用试运行估算来阻止超大查询，而不会产生按需扫描费用。对于 BigQuery 和 Conversational Analytics API，您还可以在 Google Cloud 控制台和 gcloud CLI 中按项目、用户或智能体强制执行每日输入和输出令牌配额（预览版）。

评估和基准测试您的 AI 智能体

运行时可观测性与系统性评估协同工作。日志和追踪告诉您智能体在生产环境中的行为方式，而评估基准则在用户遭遇回归之前验证对提示、模型或数据架构的更新是否提升了 SQL 准确性和回答质量：

• 使用 Prism 进行基准测试： 我们的开源评估工具 Prism 让您能够通过 Conversational Analytics API，使用可复用测试套件、正则断言和多区域智能体发现（部署在 Cloud IAP 等访问层之后）来测试以 BigQuery 表或 Looker Explore 为数据基础的 Conversational Analytics 智能体。
• 统一评估与生产分析： Prism 可以将完成的评估运行直接流式写入您项目中的按日分区 BigQuery 表，将您的部署前基准分数与生产环境 agent_events 日志并列放置，以便在 BigQuery 和 Looker 中进行并排分析。
• 原生 BigQuery 评估： BigQuery 中的第一方智能体评估（构建于 Gemini Enterprise Agent Platform 评估服务之上，支持自带服务账号）可通过 API 和引导式 Colab 笔记本以预览版使用。

开始使用

准备好为您的 AI 智能体带来可见性、治理和成本控制了吗？以下是三步入门方法：

1. 启用第一方智能体可观测性。 在您的项目中开启 Cloud Monitoring 和 Cloud Trace，并使用 对话日志记录 按智能体选择启用（参见 BigQuery 智能体监控指南），并通过 Looker Conversational Analytics 概览 和 Looker System Activity 文档 跟踪 BI 令牌消耗。
2. 为自定义智能体插桩并部署分析仪表板。 将 BigQuery Agent Analytics SDK 添加到您的 ADK 或 LangGraph 智能体，启动开源 Data Studio 报告模板或 Streamlit 应用，并使用 Colab 入门笔记本 探索仓库内日志分析。
3. 对您的智能体进行基准测试并设置成本护栏。 使用 Prism，并通过 管理代理的 BigQuery 成本。