如何在APJ为CoCo配置跨区域推理

你的团队想要 CoCo。你的账户位于悉尼、东京或新加坡。安全团队中的某个人在文档中读到了“跨区域”一词，并暂停了部署以待审查，当这样的短语出现在数据驻留上下文中时，这样做是合理的。暂停背后的通常假设是，跨区域意味着数据离开亚太地区前往美国。

这个假设值得认真对待，而且也是可以回答的（并且不一定正确）。你可以将跨区域推理（CRI）的范围仅限于亚太地区，流量走你的云提供商的私有骨干网，在大多数审查中，这两点事实足以获得批准。这两点背后的机制在跨区域推理：它是什么，以及启用它实际上涉及什么。

为什么你需要跨区域推理

CoCo 运行在大语言模型上，但并非每个模型都部署在 Snowflake 的每个区域。亚太地区仅原生托管的子集，因此 CoCo 使用的许多模型在本地不可用。这就是为什么这里需要 CRI：它是让 CoCo 访问托管在其他区域的模型的机制。你控制的部分是哪里 这些请求被允许去的地方，而你的审查者关心的正是这部分。

APJ 管理员很容易在这里停下来，因为明显的出路看起来像是 ANY_REGION，而 ANY_REGION 确实意味着任何地方。如果这是唯一的选择，那么这种担忧就完全合理。

限定范围的值才是答案

CORTEX_ENABLED_CROSS_REGION 接受的值远不止开和关。除了 DISABLED 和 ANY_REGION，还有一系列地理范围限定的值，其中三个是针对亚太地区的：AWS_APJ 覆盖主要的亚太地区，AWS_AU 覆盖悉尼和墨尔本，AWS_JP 覆盖东京和大阪。完整的接受值列表见参数参考，其背后的机制记录在跨区域推理页面。

设置其中一个值后，你的路由边界就不再是“整个世界”，而是变成了你深思熟虑选择的地理区域。对于位于亚太地区的 AWS 账户，这只是一条语句：

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = ‘AWS_APJ’;

AWS_APJ 将所有推理请求保留在亚太地理区域内，通过 AWS 私有骨干网传输：没有美国路由，也没有公共互联网。

AWS_APJ 给你带来什么

这里有一个重要的区别：在给定范围内可访问的模型是完整目录的子集。与其依赖随模型发布而变化的列表，不如查看区域可用性表以查看你设置的范围，并与 CoCo 的模型选择器确认，后者是适合你账户的始终最新的列表。AWS_APJ 范围可以访问 Claude 模型；AWS_AU 和 AWS_JP 进一步缩小地理范围。

这足以让 CoCo 正常工作，并具有区域内路由。

有一个需要注意的差距。一些最新的 Opus 模型在 APJ 限定的值下无法访问。如果工作负载特别需要其中一个，你的扩展选项是 AWS_GLOBAL，它让你留在 AWS 骨干网上，同时离开亚太地理区域。实际上，大多数团队永远不会遇到这种要求。

检查你已有的设置

在你更改任何内容之前，看看你目前的状况：

SHOW PARAMETERS LIKE ‘CORTEX_ENABLED_CROSS_REGION’ IN ACCOUNT;

这里的默认值是有条件的，取决于账户创建的时间、所在区域和类型。默认值仅在没有人设置显式值时才适用，所以如果同事已经设置了此参数，账户将保持在他们的设置状态，你将自行设置范围。

关于权限的一个实际说明：该参数仅限账户级别，并且只有 ACCOUNTADMIN 可以设置。ORGADMIN 不能。

实际移动的是什么

你的存储数据永远不会离开你的区域。表、仓库和阶段都保持在原位。CRI 只路由一样东西，那就是推理负载，即提示和响应。该负载不会在处理区域持久化。

在单个云提供商内，该流量走提供商的私有骨干网而不是公共互联网。提供商直接记录他们的网络，如果你需要主要来源，这很方便：AWS 全球网络，Microsoft 全球网络，和Google Cloud 全球网络。如果你想保证停留在单个提供商的私有网络上，选择与你所在云匹配的单提供商值，并避免在逗号分隔的列表中混合提供商。

在计费方面，积分在你的请求区域消耗，且跨区域推理没有数据传输出口费用。

给你的隐私顾问

这不是法律建议。你的顾问进行 APP 8、APPI 或 PDPA 评估所需的技术事实是：使用 APJ 限定的值，推理路由保持在亚太地理区域内，并在云提供商的私有骨干网上；静态数据从不移动；推理负载不会在处理区域持久化。把这些连同你设置的具体范围值交给他们，让他们做出决定。

如果你在 Azure 或 GCP 上

不幸的是，上述内容都不完全适用。没有 AZURE_APJ 或 GCP_APJ。位于 APJ 的 Azure 或 GCP 账户如果希望留在自己的云上，只能使用 AZURE_GLOBAL 或 GCP_GLOBAL，而这两者都会路由到亚太地理区域之外。如果区域内路由是你的硬性要求，请在规划部署之前向你的账户团队提出，因为这可能会影响你将工作负载放在哪个云上。

然后设置你的默认模型

一旦 CRI 开启，CoCo 就可以访问其模型，无需你进行任何进一步操作。如果你想设置账户范围的默认值，可以通过设置代理完成：

USE ROLE ACCOUNTADMIN;

CREATE OR REPLACE AGENT CORTEX_CODE.CONFIG.DEFAULT
  FROM SPECIFICATION
  $$
  models:
    orchestration: [default model goes here]
  $$;

使用限定的值，设置默认值可以提供更多可预测性：查看你的范围的可用性表，如果那里可以访问支持的模型，则按上述方式命名。

然后授予使用权限，以便设置生效：

GRANT USAGE ON DATABASE CORTEX_CODE TO ROLE PUBLIC;
GRANT USAGE ON SCHEMA CORTEX_CODE.CONFIG TO ROLE PUBLIC;
GRANT USAGE ON AGENT CORTEX_CODE.CONFIG.DEFAULT TO ROLE PUBLIC;

如果你好奇你的账户目前的状态，上面的 SHOW PARAMETERS 检查只需一秒钟。如果结果显示 DISABLED，选择一个作用域就是你在亚太地区内部安装 CoCo 之前唯一需要做的事情。

如何在 APJ 中为 CoCo 设置跨区域推理最初发布于 Snowflake Builders Blog: Data Engineers, App Developers, AI, & Data Science在 Medium 上，在那里人们通过强调和回应这个故事来继续对话。