BigQuery 在 Pandas 中推出 AI 函数,支持嵌入、预测与 LLM 调用
有效阅读仅保存在当前浏览器,用于「为你」推荐;暂停或清除记录。
DataHot 速览
Google Cloud 官方博客介绍 BigQuery 在 pandas 中的 AI 函数:通过 bigquery accessor,可直接在 DataFrame/Series 上调用 embed、generate_text、classify、forecast(含 TimesFM 3.0)、predict(TabFM)等函数。ai.if_() 返回布尔 Series,可直接作为 pandas 过滤条件,默认 minimize_cost 模式先由本地蒸馏模型处理大部分行,仅少量行发送给 Gemini,以降低成本和延迟;也可切换 maximize_quality 全量调用 LLM。目标是让数据从业者无需离开 Python 生态即可完成嵌入、分类、预测与时间序列等 AI 任务。
为什么值得关注:这是把大模型与预测能力直接嵌入数据分析工作流的官方发布,会影响基于 Pandas/BigQuery 的自助分析与 Data Agent 实现方式,且涉及成本、延迟与质量的权衡,对数据从业者决策有直接参考价值。
译文
AI 逐段翻译因为 `ai.if_()` 返回布尔 Series,你可以直接将其用作 pandas 过滤掩码,例如 `df[df.bigquery.ai.if_(prompt)]`。`ai.if_()` 默认以优化模式运行(optimization_mode="minimize_cost"):一个本地蒸馏模型处理大部分行,只有其余行会发送给 Gemini,从而在大型数据集上降低成本和延迟。若要将每一行都发送给 LLM,请将 `optimization_mode` 设置为 "maximize_quality"。
快速开始
由 bigquery 访问器提供的 AI 函数可直接在你的原生数据结构中解锁高级机器学习工具,使你无需离开熟悉的 Python 生态即可解决复杂的 AI 挑战。
目前支持的 AI 函数包括以下内容(完整详情请参阅文档):
Pandas Series
- embed(): 生成向量嵌入到单个列。
- generate_embedding(): 生成向量嵌入到表。
- generate_table(): 执行自然语言任务并生成结构化输出。
- generate_text(): 执行自然语言任务并生成自由格式文本。
- similarity(): 计算条目之间的语义接近度(余弦相似度)。
Pandas DataFrame
- classify(): 执行零样本分类。
- forecast(): 使用 TimesFM 对分组数据运行时间序列预测,包括新的 TimesFM 3.0。
- generate(): 在多个列上评估动态提示以生成文本响应。
- generate_bool(): 评估自然语言条件并返回布尔值(True/False)。
- generate_double(): 评估提示并返回浮点数。
- generate_int(): 评估提示并返回整数。
- if_(): 根据自然语言条件过滤行,默认使用优化模式以降低成本和延迟。
- predict(): 使用 TabFM 运行预测建模,例如回归。
- score(): 根据你描述的评分系统对输入进行评分。
无论你是想生成嵌入还是运行完整的时间序列预测,pandas 中的 BigQuery AI 函数 都能让规模化机器学习变得轻松。试用一下,让你的数据来完成繁重的工作!
这篇内容对你有用吗?
反馈只用于改善内容筛选,不等同于收藏