[[RESOLVED] Elevated API issues and Launch Failures] Service is operating normally: [RESOLVED] Elevated API issues and Launch Failures

日本時間 2026 年 11 月 11 日 午後 11 時 46 分から 2026 年 11 月 12 日 午前 2 時 46 分 (太平洋標準時 午前 6 時 46 分から午前 9 時 46 分) にかけて、主に単一のアベイラビリティーゾーン (apne1-az1) において、API エラー率の上昇および起動失敗が発生しておりました。また、ECS および Fargate のタスク起動失敗、ELB のプロビジョニング遅延、NAT Gateway の作成および関連付け解除ワークフローの失敗、Managed Flink アプリケーションの状態遷移の遅延など、他サービスにも影響が発生しておりました。稼働中の EC2 インスタンスおよび既存のワークフローには影響はございませんでした。この時間帯において、影響を受けているアベイラビリティーゾーンでは EC2 および EBS のヘルスデータが欠損または遅延し、CloudWatch アラームが INSUFFICIENT_DATA 状態に移行し、DescribeInstanceStatus API が Insufficient Data を返しておりました。 根本原因を特定し、日本時間 2026 年 11 月 12 日 午前 0 時 47 分までに緩和策の実施を開始しました。日本時間 午前 2 時 46 分には API の広範な回復が見られ、新規 EC2 インスタンスの起動が成功するようになりました。完全な復旧を監視する中で、影響を受けた単一のアベイラビリティーゾーンにおける新規起動インスタンスで接続の問題が発生していることを確認し始めました。インスタンス間の接続、および影響発生前に起動されたインスタンスへの接続は影響を受けておりませんでした。この問題が最初の問題と同一の根本原因であることを特定することができました。 接続の問題を軽減するために複数の対策を並行して実施し、日本時間 午前 4 時 51 分に接続の問題の回復の最初の兆候を確認し、日本時間 午前 5 時 31 分に完全に回復いたしました。問題は解決され、サービスは正常に稼働しております。 | Between 6:46 AM and 9:46 AM PST, we experienced elevated API error rates and launch failures primarily centered in a single Availability Zone (apne1-az1). We also experienced impact to other services such as ECS and Fargate Task Launch failures, ELB provisioning delays, Nat Gateway failures for Create and Disassociate workflows and Managed Flink application state transitions delays. Running EC2 instances and existing workflows were not affected. During this time, EC2 and EBS health data was missing or delayed for the affected Availability Zone resulting in CloudWatch alarms to transition to INSUFFICENT_DATA state and the DescribeInstanceStatus API to return Insufficient Data. We had identified the root cause and began our mitigation efforts by 7:47 AM, and by 9:46 AM we were seeing broad recovery for APIs and were able to see new EC2 launches succeed. While monitoring for full recovery, we began to observe that new launches in the single affected Availability Zone were experiencing connectivity issues, instance to instance connectivity was unaffected as was instances launched before the impact began. We were able to identify that this shared a root cause to the initial issue. We took multiple parallel paths to mitigate the connectivity issue, and saw first signs of recovery for the connectivity issue at 11:51 AM and full recovery by 12:31 PM. The issue has been resolved and the service is operating normally.