Coinbase báo cáo sự cố gián đoạn dịch vụ ngày 14 tháng 7: Lỗi cấu hình gây ra sự cố kéo dài 50 phút, tiền của người dùng không bị ảnh hưởng

Odaily Planet Daily đưa tin, Coinbase đã công bố báo cáo phân tích sự cố gián đoạn dịch vụ ngày 14 tháng 7, cho biết sự cố này do lỗi cấu hình của một thành phần mạng quan trọng phát sinh từ một bản cập nhật cấu hình định kỳ. Sự cố kéo dài khoảng 50 phút và tiền của người dùng luôn được an toàn trong suốt thời gian đó.

Coinbase cho biết, vào lúc 12:34 giờ Bắc Kinh (12:34 giờ miền Đông Hoa Kỳ) ngày 14 tháng 7, công ty đã triển khai một thay đổi cấu hình định kỳ lên cụm Kubernetes sản xuất dùng chung chịu trách nhiệm cho các dịch vụ cơ sở hạ tầng cốt lõi. Bản cập nhật này được lên kế hoạch để chuyển đổi sang mô hình triển khai dịch vụ mới nhằm cải thiện hiệu suất và độ tin cậy của hệ thống.

Tuy nhiên, do xung đột tên tài nguyên không được cơ chế phát hiện trong môi trường tiền sản xuất phát hiện ra, thay đổi cấu hình này đã vô tình ảnh hưởng đến các tài nguyên Kubernetes liên quan đến Istio Ingress Gateway trong cụm, khiến thành phần mạng này không khả dụng. Khoảng 3 phút sau, tất cả lưu lượng truy cập đến cụm bị gián đoạn, khiến các dịch vụ nội bộ không thể truy cập được nhiều thành phần cơ sở hạ tầng.

Coinbase chỉ ra rằng, do nhiều quy trình làm việc không đồng bộ phụ thuộc vào các dịch vụ cơ sở hạ tầng này, bao gồm các quy trình như thanh toán giao dịch, chuyển tiền và ủy quyền giao dịch thẻ ngân hàng, nên nhiều mảng kinh doanh đã bị ảnh hưởng. Các dịch vụ bị ảnh hưởng bao gồm:

Người dùng bán lẻ không thể thực hiện giao dịch ngoài chuỗi, nạp tiền và rút tiền; một số giao dịch đang xử lý hiển thị bị kẹt và được hoàn tất sau khi dịch vụ phục hồi;

Giao dịch thẻ ghi nợ Coinbase Card tạm thời thất bại, thanh toán thẻ tín dụng không bị ảnh hưởng, nhưng một số chức năng quản lý thẻ không khả dụng;

Dịch vụ trao đổi trên chuỗi của Coinbase DEX trên Base và Solana bị tạm dừng;

Khách hàng tổ chức của Coinbase Exchange và Prime gặp lỗi hoặc chậm trễ trong chuyển tiền và thanh toán;

Khách hàng của Coinbase Developer Platform không thể hoàn tất việc mở tài khoản, chuyển tiền và dịch vụ nạp tiền.

Coinbase cho biết, Ingress Gateway đã được phục hồi vào lúc 13:20 giờ miền Đông, và sự cố đã được giảm thiểu vào lúc 13:23. Sau đó, hệ thống bắt đầu xử lý các tác vụ tồn đọng, hầu hết các dịch vụ nhanh chóng hoạt động bình thường trở lại, các hàng đợi còn lại được xử lý trong vòng vài giờ sau đó. Trong quá trình phục hồi, Coinbase đã gặp phải hai thách thức bổ sung. Đầu tiên, bản thân công cụ triển khai phụ thuộc vào Ingress Gateway bị ảnh hưởng để hoạt động, khiến quy trình rollback thông thường không thể thực hiện, tạo ra một vòng phụ thuộc luẩn quẩn "lỗi ảnh hưởng đến công cụ sửa chữa". Thứ hai, quy trình khôi phục khẩn cấp (break-glass access) tuy hiệu quả, nhưng các quy trình xác thực quyền và xem xét thủ công đã làm tăng thời gian phục hồi.

Coinbase cho biết, sự cố này không liên quan đến rủi ro an toàn tài sản, nhưng đã phơi bày ra rằng cơ sở hạ tầng tài chính lớn vẫn cần được tối ưu hóa liên tục về triển khai tự động, phụ thuộc hệ thống và cơ chế khắc phục thảm họa. Công ty sẽ tăng cường hơn nữa khả năng phục hồi của hệ thống để giảm khả năng xảy ra các sự cố tương tự.