Iceberg/Delta、存算分离与半结构化——架构之争的下一站
＋ 关注此主题，在 For Me 查看最近 7 天内最新的 3 条
AWS 宣布在 Amazon EMR on EKS 上支持 Spark Connect，起始版本为 EMR 7.14（Apache Spark 3.5.8）与 emr-spark-8.1（Apache Spark 4.1.1）。开发者可在 VS Code、PyCharm、Jupyter、SageMaker Unified Studio 等本地工具中构建、测试和调试 PySpark 应用，实际计算则路由到 EKS 上的 Spark 集群执行。该能力基于客户端-服务端架构，通过 gRPC/TLS 连接，旨在解决本地环境与远程集群之间的依赖冲突和规模性能差异。每个 Spark Connect 会话可使用独立的 IAM 执行角色与自定义标签，便于权限隔离和成本追踪，AWS 还提供了端到端示例 notebook。
AWS 推出 Amazon Aurora PostgreSQL 与 Amazon SageMaker 的 zero-ETL 集成，将 Aurora PostgreSQL 数据近实时复制到 AWS Glue Data Catalog，并以 Apache Iceberg 表形式提供分析访问。该集成基于 CDC，通过增强逻辑复制捕获事务日志中的插入、更新和删除，减少传统 ETL 管道的延迟、运维开销与数据孤岛。用户可在 SageMaker 中结合 S3 数据湖和 Redshift 数仓的数据，用 SQL、Spark、BI 及 AI/ML 工具分析同一份数据。文章还介绍了 Lake Formation 的统一访问控制、湖仓架构和配置查询流程。
ClickHouse Workload for Microsoft Fabric 现已公开预览，可从 Fabric 工作负载中心获取，把 ClickHouse 作为 OneLake 的加速层。用户可将 OneLake 表同步到专属 ClickHouse Cloud 服务，在 Fabric 内以亚秒级响应查询数十亿行，且 OneLake 保持唯一事实源。该工作负载使用 Microsoft Entra 账户在 Azure 上开通专属 ClickHouse Cloud 计算，含试用，可服务 AI agent、仪表盘和应用而不消耗 Fabric 容量。它还提供内嵌 SQL 控制台、Power BI 认证连接器、Fabric notebook 及面向 Copilot Studio/GitHub Copilot 的只读治理访问。
精选长期内容，最多 3 篇
按发布时间倒序