Coinbaseが7月14日のサービス停止インシデントを振り返る:設定ミスが50分間の障害を引き起こすも、ユーザー資金に影響なし
Odaily星球日报讯 Coinbaseは7月14日のサービス停止インシデントに関する報告書を発表し、今回の事故は定期的な設定更新によって引き起こされた重要なネットワークコンポーネントの設定ミスによるもので、影響は約50分間続いたものの、その間ユーザーの資金は常に安全であったと述べています。
Coinbaseによると、日本時間7月14日12:34(米国東部時間0:34)、同社はコアなインフラサービスをホストする共有の本番Kubernetesクラスターに定期的な設定変更をデプロイしました。このアップデートは、新しいサービスデプロイモデルに移行し、システムのパフォーマンスと信頼性を向上させるためのものでした。
しかし、リソース名の競合がプリプロダクション環境の検出メカニズムで発見されなかったため、この設定変更により、誤ってクラスター内のIstio Ingress Gateway関連のKubernetesリソースに影響が及び、このネットワークコンポーネントが使用不能になりました。約3分後、クラスターへのすべてのインバウンドトラフィックが遮断され、内部サービスが複数のインフラコンポーネントにアクセスできなくなりました。
Coinbaseは、多数の非同期ワークフローがこれらのインフラサービスに依存していたため(取引の決済、資金送金、キャッシュカード取引の承認など)、複数の業務ラインに影響が及んだと指摘しています。影響を受けたサービスは以下の通りです。
リテールユーザーはオフチェーン取引、入金、出金を完了できず、処理中の一部の取引はスタックしているように見えましたが、サービス復旧後に完了しました。
Coinbase Cardのデビットカード取引は一時的に失敗しましたが、クレジットカード決済は影響を受けず、一部のカード管理機能は利用できませんでした。
Coinbase DEXのBaseおよびSolana上のオンチェーン交換サービスが停止しました。
Coinbase ExchangeおよびPrimeの機関顧客は、送金および決済の失敗または遅延が発生しました。
Coinbase Developer Platformの顧客は、口座開設、資金移動、入金サービスを完了できませんでした。
Coinbaseは、Ingress Gatewayが米国東部時間13:20に復旧し、インシデントは13:23に緩和されたと述べています。その後、システムはバックログタスクの処理を開始し、ほとんどのサービスはすぐに正常に戻り、残りのキューはその後数時間以内に処理が完了しました。復旧プロセス中に、Coinbaseは2つの追加の課題に直面しました。まず、デプロイツール自体が影響を受けたIngress Gatewayに依存していたため、通常のロールバック手順を実行できず、「障害が修正ツールに影響を与える」という循環依存が発生しました。次に、緊急復旧手順(break-glass access)は有効でしたが、権限検証と手動審査プロセスにより復旧時間が増加しました。
Coinbaseは、今回のインシデントは資産のセキュリティリスクを伴うものではありませんでしたが、大規模な金融インフラにおける自動デプロイ、システム依存関係、および災害復旧メカニズムが継続的な最適化を必要としていることを明らかにしたと述べています。同社は、同様のインシデントの再発確率を低減するために、システムの回復力をさらに強化していく予定です。
