亚马逊AWS官方博客
Category: Analytics
Apache Iceberg on AWS:设计能力和性能实测
Iceberg 构建湖仓的优势和性能测试。测试环境说明:EMR on EKS 7.13.0(Spark 3.5.6-amzn-2、Iceberg 1.10.0-amzn-1、JDK 17.0.19),节点规格 r7g.4xlarge,测试执行至 2026-08-31。测试时间取值均为中位数,3 次取中间值。第三、四部分可独立阅读;第二部分依赖第一部分对元数据裁剪机制的介绍。
RDS for MySQL 8.0 升级 8.4 之下游 Binlog 消费处理实战 (一)—— 蓝绿部署下的 Canal CDC 位点衔接与故障处理
本文基于一次 RDS for MySQL 8.0 升级至 8.4 的蓝绿切换演练,分析即使正确开启了 GTID 模式、Canal 切换到绿环境只读副本后仍然出现 errno 1236 的原因,说明 GTID 位点的修补方法、Kafka 追赶阶段的消息大小限制,以及适用于该演练拓扑的切换前检查、故障处置与切换后验证步骤。 本文的结论基于 Canal 以 GTID 模式订阅 RDS for MySQL 只读副本、通过蓝绿部署升级至 MySQL 8.4。
AWS 一周综述:Claude Fable 5.1 登陆 AWS、Amazon Linux 2027 预览版、AWS 认证人工智能商业策略师等(2026 年 9 月 7 日)
Claude Fable 5.1 登陆 AWS、Amazon Linux 2027 预览版、AWS 认证人工智能商业策略师等
AWS 一周综述:欢迎 DuckLabs 加入 AWS 团队,代理资源发现(ARD)等(2026 年 8 月 31 日)
欢迎 DuckLabs 加入 AWS 团队,代理资源发现(ARD)等
用数据选型:StarRocks 跨架构(arm64 vs x86)基准测试记录
许多团队在 Amazon EC2 上自建 StarRocks 做实时分析,但选型时往往缺乏同口径的跨架构对比数据。本文基于 TPC-H / TPC-DS SF1000 基准,在 StarRocks 存算分离架构下,横评 Graviton(arm64)与 x86 同规格实例的查询性能与价格性能,给出可复现的量化结论——帮助你用数据而非直觉做出选型决策。
AWS 一周综述:AWS 构建者中心学习激励计划、拉斯维加斯新增本地区域等内容(2026 年 8 月 24 日)
AWS 构建者中心学习激励计划、拉斯维加斯新增本地区域等内容
AWS Glue 6.0 现已发布,价格降低 30%,并全面支持 Apache Iceberg v3
今天,我们正式发布 AWS Glue 6.0,其价格比之前的 AWS Glue 版本降低了 30%,并全面支持 Apache Iceberg v3 的各项功能。AWS Glue 6.0 基于完全现代化的运行时环境、Apache Spark 4.1、Python 3.12 和 Scala 2.13 构建,性能更强劲。
AWS 一周综述:EC2 应用程序状态检查、IAM 角色管理器、Bedrock 上的 OpenAI Daybreak 等(2026 年 8 月 17 日)
EC2 应用程序状态检查、IAM 角色管理器、Bedrock 上的 OpenAI Daybreak 等
ELK迁移Amazon OpenSearch Service最佳实践
随着业务的快速发展,线下自己维护的 ELK 集群会面临运维成本高、扩展性受限、资 源利用效率低等挑战。为了解决这些问题, 同时充分利用云服务的优势,许多客户在迁 移上云时,会决定将现有的自建 ELK 架构迁移到 Amazon OpenSearch Service。本文将详细 分享一些迁移经验,包括方案设计、实施过程、遇到的挑战以及解决方案,希望能为面临类似场景的客户提供有价值的参考。
使用 Amazon S3 Tables 优化数据湖:从Hudi 迁移到托管 Iceberg
某零售品牌因 Hudi 0.12.x 版本老化、并发冲突和全量覆盖场景低效,迁移至 Amazon S3 Tables。团队采用混合策略:DW 层用 S3 Tables 实现增量 MERGE,DM 层全量覆盖表直接写 Parquet。通过新旧并行分批迁移,最终核心作业性能提升最高 8 倍,ETL 月度成本降低 72%。

