Alteryx Live Query 与 BigQuery 处理非结构化数据

Kira Droganova

Alteryx 高级产品经理

Rama Vundela

Google 数据分析专家

立即体验 Gemini

职场中通往 AI 的大门

立即试用

Alteryx One Live Query 和 Google Cloud BigQuery 重新定义了企业如何大规模处理复杂的非结构化数据，方法是减少对孤立工具的依赖、最大限度减少数据移动，并实现仓库原生执行。

Live Query 提供了一个直观的、基于浏览器的环境，让业务用户无需编写任何代码即可构建复杂的数据管道。当它与 BigQuery 的规模和性能相结合时，这对组合可实现安全的 SQL 下推，这意味着数据转换逻辑直接在仓库内执行，而不是通过网络移动数据。这种协同效应在文档密集型工作流中尤为强大，Live Query 可以编排 Google 的高级 AI 和机器学习模型——例如 Gemini——从 PDF 和图像中提取智能信息，同时保持 BigQuery 环境严格的数据治理和安全性。

从发票 PDF 到在 BigQuery 中使用 Live Query 治理例外报告

财务和运营团队常常发现自己被堆积如山的供应商发票淹没。这些文档以 PDF 形式出现，数据不一致，发票编号格式各异，且手动出错风险很高。传统上，数据团队不得不求助于手动数据提取，或使用一系列分散的工具将数据移入仓库——这一过程既耗时，又容易出现重复或金额不匹配。

通过集成 Live Query for BigQuery，您现在可以自动化发票的整个生命周期。通过直接在 BigQuery 生态系统中处理 PDF、提取关键字段并标准化结果，数据团队可以更快地识别文档中的异常或数据问题等例外情况，同时确保通过 BigQuery 细粒度访问策略配置的受治理企业数据永远无需离开仓库。

解决方案概述：提取、分类、验证、路由和过账

让我们深入了解 Live Query 解决方案的工作原理。发票 PDF 作为非结构化文档到达 Google Cloud Storage。在 Live Query 工作流中，Document Extract 工具使用用户选择的模型（例如 Gemini 或 Document AI）提取结构化字段。然后对结果进行标准化以实现可靠匹配，并与已存储在 BigQuery 中并受治理的历史发票记录进行比较。

这个自动化工作流旨在以最少的人工干预从文档走向决策。在企业规模下，这种模式不仅仅是处理少量 PDF——而是在数百万份非结构化文档上实现分析和 AI，同时保持对账逻辑与 BigQuery 保持一致。

通过将 AI 驱动的提取与 BigQuery 原生执行相结合，该解决方案提供：

• 更高的直通处理率：减少手动处理，让更多发票自动通过流程。
• 更快的对账和更少的手动例外： 在流程早期将提取的发票与 BigQuery 数据进行比较，使团队能够更早识别重复和不匹配，减少需要手动审核的发票数量。
• 更强的可审计性：维护从源到运营输出的清晰数据轨迹。
• 减少数据移动：将数据保留在 BigQuery 中，并利用其内置能力增强安全性、治理和控制。

架构：Google Cloud 原生模式

从高层来看，发票 PDF 暂存在 Cloud Storage 中，通过浏览器中的 Live Query 工作流进行处理，与已驻留在 BigQuery 中的受治理发票历史进行对账，并写回作为财务团队的运营输出。这种模式的关键架构优势在于，工作流创作在浏览器中进行，而转换和对账逻辑则通过平台服务针对受治理的数据环境执行。

该 Live Query 架构专为仓库级处理和受治理执行而设计。 它使用安全的 SQL 下推，直接在 BigQuery 中执行转换和对账逻辑，并与 Gemini 集成，以实现文档提取、分类和摘要等高级 AI 能力。

1. Live Query（浏览器）： 用户在浏览器中以可视化方式创作工作流，配置文档提取、分类、清洗、验证和路由逻辑。
2. Alteryx One Platform Services： 该 Transformation Service 协调浏览器工作流与客户数据环境之间的请求处理、执行规划和结果检索。这些服务还在工作流执行中增加可追溯性和可观测性，加强运营监控和可审计性。
3. 客户 Google Cloud：发票 PDF 暂存在 Google Cloud Storage (GCS) 中，历史发票数据保留在受治理的 BigQuery 中，AI 支持的提取针对该环境运行，工作流输出被写回 BigQuery。

在这种模式中，浏览器是创作层，Alteryx One Platform Services 是协调层，而 Google Cloud 是受治理的数据和执行层。它允许在 Live Query 中以可视化方式创作工作流逻辑，同时执行保持与 BigQuery 中受治理的数据和仓库级处理保持一致。

Live Query 工作流演示：从 PDF 到洞察

让我们以发票为例，进一步了解 Live Query 工作流如何处理非结构化 PDF。

摄取发票 PDF 该工作流首先指向 Google Cloud Storage 中的一个目录输入，原始 PDF 文件就存储在那里。在实践中，这一步不仅仅是识别一个文件夹：它会枚举 PDF 的位置并返回文件级元数据——例如绝对文件路径、大小以及创建/更新时间戳——以便工作流能够可靠地将正确的文档集传递到下游提取步骤。

提取关键字段该工作流使用 Alteryx 的 Document Extract 工具处理存储在 Google Cloud Storage 中的 PDF 发票，并直接在 BigQuery 中提取结构化或半结构化结果。提取步骤使用用户选择的模型，即 Document AI 或 Gemini AI，具体取决于工作流配置。在底层，该工具根据输入文档 URI 构建一个临时外部对象表，并执行相应的函数——针对 Document AI 模型执行 ML.PROCESS_DOCUMENT，或针对 Gemini AI 模型执行 AI.GENERATE。对于此工作流，使用的是 Gemini 路径，AI.GENERATE 将所请求的发票字段返回到下游的 Live Query 工作流中。

在交互式设计期间，Live Query 将处理限制为一小部分文档 URI 以进行预览，而运行时执行则处理完整的发票 PDF 集。

正在加载...

对提取的内容进行分类提取之后，该工作流使用 Alteryx 的 Classify 工具对提取的发票文本应用零样本分类。在此用例中，行项目内容使用 BigQuery 中的 AI.CLASSIFY 被标记为预定义业务类别——例如工业用品或办公用品——这会将一个新的预测标签列返回到下游工作流中。这种业务上下文使提取的数据对下游对账、异常处理和报告更加有用。

正在加载...

规范化数据对提取的发票号码进行清洗和标准化，以便细微的格式差异——例如空白字符或格式不一致——在对账期间不会掩盖潜在的重复项。

与历史记录进行比较该工作流将规范化后的当前发票记录与已驻留在 BigQuery 中的历史发票数据进行连接。此对账步骤识别出历史记录中已存在匹配发票号码的记录，并将它们标记为潜在重复项。

标记异常随后，一个公式步骤对剩余记录应用业务规则逻辑。这些规则可能因工作流而异，可能包括检查金额不匹配、缺少必填字段、总额无效或其他特定于财务的异常。在此示例中，有一条规则检查 invoice_amount 是否等于 net_amount + tax_amount，并将不匹配标记出来以供审查。

生成运营输出该工作流生成两个运营输出：一个用于与历史记录匹配并被标记为潜在重复项的发票，另一个用于未匹配的当前发票，这些发票已经过验证、在需要时标记了异常，并已准备好进行未付发票处理。

结果不仅仅是提取的数据，而是经过治理的运营输出，财务团队可以立即审查并采取行动。

总结：一个受治理的从文档到决策的工作流

我们的共同客户对这些新功能感到兴奋，这些功能将有助于改进业务流程。

“Alteryx One：Google 版让我印象最深刻的是它如此自然地融入 Google Cloud 体验。我很兴奋有机会通过直观、受治理的体验让业务用户使用 BigQuery 数据，从而使分析更加易于访问。”——Michael Wyant，Papa Johns 企业数据与公司解决方案副总裁

此用例不仅仅是一个简单的提取工具；它代表了一种强大的 Google Cloud 原生模式，用于将非结构化文档转化为可操作的运营输出。该工作流不是将仓库数据移入互不连接的准备工具中，而是使存储、提取、对账和输出生成与已驻留在 BigQuery 中的受治理企业数据保持一致。通过将 Alteryx One Live Query 的直观设计与 BigQuery 的规模和 AI 能力相结合，财务团队可以减少人工工作、加速异常处理，并专注于更高价值的战略举措。

发布于

• 数据分析
• BigQuery
• 合作伙伴