BigQuery生成式AI函数上线Token成本管理

BigQuery 中的生成式 AI 函数（AI.GENERATE、AI.IF、AI.CLASSIFY、AI.SCORE 等）将大语言模型（LLM）直接引入你的 SQL，因此单条查询即可对数百万张支持工单进行分类，或对每条产品评论进行情感评分。然而，由于这些函数按 token 计费，在超大规模数据集上扩展使用时，主动管理预算就显得尤为重要。

我们最近宣布正式发布（GA）基于 token 的成本管理功能，适用于 BigQuery 生成式 AI 函数：通过每日配额，管理员可以自行设置 AI token 消耗的护栏，让团队在预算范围内放心创新。在本篇博客中，我们将概述 BigQuery 生成式 AI 函数的成本管理，通过几个实际示例进行演示，并分享一些资源帮助你入门。让我们开始吧。

用于管理成本的配额

通过 Google Cloud Identity and Access Management（IAM）配额系统管理的四项每日配额，可在项目层级和每用户层级提供控制。每用户限制适用于项目内的每个用户，而非整个组织。

关键细节：

• 配额是全局的。 用量会在所有区域汇总，因此成本不会在你未关注的区域中悄然累积。
• 输出配额包含“思考”token。 推理 token 会计入你的输出配额，正如它们会计入你的 Gemini 平台账单一样。

涵盖哪些函数？

这些配额适用于以下执行 LLM 支持的生成的 BigQuery 函数：

• AI.GENERATE
• AI.GENERATE_TABLE
• AI.GENERATE_TEXT（及其别名 ML.GENERATE_TEXT）
• AI.CLASSIFY
• AI.IF
• AI.SCORE
• AI.AGG

不涵盖的内容：嵌入函数，例如 AI.GENERATE_EMBEDDING（也可用作 ML.GENERATE_EMBEDDING）和 AI.EMBED 不受这些配额限制，因为它们运行在不同的、成本低得多的模型上。

管理你的配额

管理员可以直接在Google Cloud 控制台中查看和调整配额，以应对工作负载变化，无需提交支持工单。

1. 导航至 IAM 和管理 → 配额和系统限制。
2. 按服务筛选并选择 BigQuery API。
3. 按 名称 列排序，将四项 AI 配额置顶。

在 IAM 和管理 → 配额和系统限制中定位生成式 AI token 配额。

4. 找到配额，例如 每天 AI 输入 token 数。

5. 打开三点菜单并选择 编辑配额。

在这里：

• 要收紧成本控制， 降低配额。这会立即生效，无需审批。
• 要支持更高的用量， 在同一页面申请增加。许多请求会自动批准；较大的增加可能需要经过快速审核。

在 IAM 和管理 → 配额和系统限制中编辑生成式 AI token 配额。

你需要拥有相应的权限。 你需要具备以下之一：Owner、Editor、Quota Administrator （roles/servicemanagement.quotaAdmin），或 Service Usage Admin（roles/serviceusage.serviceUsageAdmin）。

更喜欢自动化？ 你还可以以编程方式管理这些配额，通过 Cloud Quotas API、gcloud CLI 和 Terraform，在各项目中应用一致的护栏。

监控用量

除了设置限制之外，配额和系统限制页面还会显示你的历史 token 消耗，以便你快速发现峰值并合理调整预算。利用这些趋势来了解新的生成式 AI 工作负载和数据管道如何影响你的整体 token 用量。

在 IAM 和管理 → 配额和系统限制中某项生成式 AI token 配额的每日项目级 token 用量。

更长期的用量图表，可选择 7 天、14 天、30 天和自定义范围。

有关分步操作说明，请参阅 BigQuery 文档中关于使用 token 配额控制成本的内容。

token 配额与结算支出上限

token 配额并不是 Google Cloud 中唯一的成本护栏。

• token 配额（本功能） 是预防性的且专门针对 AI。BigQuery 在查询执行期间跟踪 token 用量，并在接近限制时停止工作，且按项目和按用户分别设置限制。
• Cloud Billing 支出上限以美元为单位在项目和服务级别运作，可在达到阈值时自动阻止使用。它们是一种宽泛的财务兜底措施，而非精确的使用控制，并且由于执行并非即时，会产生一些超额用量。

将 token 配额用作 AI 支出的第一道防线，并将支出上限用作项目级的安全网。

强制执行如何运作

配额的执行方式是停止工作，而不是让查询运行超出你的限制。只有当查询所需的某项配额已经耗尽时，查询才会在一开始就被拒绝，并返回 QuotaExceeded 错误。否则，查询会启动；如果某项配额在查询中途耗尽，BigQuery 会停止发送新的 LLM 调用：

• 支持 max_error_ratio 的函数（例如 AI.IF）在未处理行数保持在该比例以内时返回部分结果，否则会失败。
• 通用函数（例如 AI.GENERATE）仍会成功。被跳过的行没有生成值，其 status 字段包含配额超限错误。

有关详细信息，请参阅文档中的 配额强制执行行为。

估算输入数据规模：AI.COUNT_TOKENS

要选择配额值，了解你的工作负载向模型发送多少文本会很有帮助。AI.COUNT_TOKENS 函数可以帮助实现这一点。

AI.COUNT_TOKENS返回模型的分词器为某个文本字符串生成的 token 数量，而不会发起可计费的生成调用。对某一列运行它即可衡量你的输入数据：

正在加载……

该计数是输入 token 的下限。它不包含输出或思考 token、每个 AI 函数围绕你的输入添加的指令，或图像等非文本输入。可用它来：

• 在启动工作负载前评估其输入侧规模。
• 合理设置你的配额，并结合一次衡量实际输入和输出用量的小样本运行。
• 将 token 换算为美元，使用你所选模型的已发布Gemini 平台定价。

从 token 到预算：一个完整示例

假设你希望将某个项目的每日 AI 支出控制在约 100 美元，使用 Gemini 3.1 Flash-Lite 模型。按照今日公布的定价（BigQuery 以批处理方式运行，可享受 50% 折扣）：

• 输入 token： 每 100 万个 token 0.125 美元
• 输出 token（响应 + 推理）： 每 100 万个 token 0.75 美元

如果一次小样本运行显示平均 100:1 的输入输出 token 比，你就可以求解每日预算：

正在加载……

求解得出每天约 7.54 亿输入 token和 754 万输出 token。将每日 AI 输入 token和每日 AI 输出 token设置为这些值，即可将项目保持在每天约 100 美元。如果项目使用不同价格的模型，请按模型分别制定预算或混合费率。

管理 AI 成本的最佳实践

• 从按用户配额开始。 它们可以防止某个用户或失控的实验耗尽项目预算。
• 在扩展前先衡量。 使用 AI.COUNT_TOKENS 来评估你的输入规模，然后在设置限制前，在用量图表中查看一次小样本运行。
• 注意输出侧。 输出 token 成本更高。如果函数接受 max_output_tokens，请设置它以限制生成长度。
• 监控并迭代。 随着实际用量和预算变化调整限制。

开始使用

基于 token 的成本管理现已可用。要开始：

1. 在 Google Cloud 控制台中打开 IAM 和管理 → 配额和系统限制，并按 BigQuery API 进行筛选。
2. 查看四个与 AI 相关的 token 配额，并设置符合你预算的限制。
3. 使用 AI.COUNT_TOKENS 来评估你的输入数据规模。

有关完整详细信息，请参阅控制生成式 AI 成本的文档。

有了基于 token 的护栏，你的团队就可以在 BigQuery 中使用生成式 AI，并获得你的组织所需的成本可预测性。

发布于

• 数据分析
• AI 与机器学习
• BigQuery