Nhân viên lỡ tay xóa nhầm 300GB dữ liệu, GitLab chao đảo

(Game8) - GitLab, startup từng nhận đầu tư 25 triệu USD đã có một ngày vô cùng đen đủi khi một loạt lỗi hệ thống do con người gây ra khiến dịch vụ của công ty sập hoàn toàn trong đêm thứ Ba (31/1) vừa qua.

GitLab là công ty cung cấp dịch vụ không gian làm việc ảo để các lập trình viên cộng tác với nhau, cho phép họ ghép nối các đoạn code trong dự án với nhau thành sản phẩm hoàn thiện. Đây hiện đang là đối thủ sừng sỏ của startup nổi tiếng GitHub tại Thung lũng Silicon với dịch vụ hấp dẫn và giá cả cạnh tranh. Tuy nhiên họ lại vừa gặp phải một sự cố không đáng có.

Ngày đen đủi

Mọi chuyện bắt nguồn từ tối thứ Ba, khi một admin hệ thống của GitLab đang cố sửa lỗi load chậm trên site bằng cách xóa bớt dữ liệu backup và khởi động lại hệ thống sao lưu. Thật không may là thay vì xóa dữ liệu backup, kỹ sư này lại gõ nhầm lệnh xóa dữ liệu gốc.

Khi phát hiện ra sai sót, anh chàng kia đã vội vàng tạm dừng quy trình xóa. Lúc này, hệ thống đã xóa mất gần 300 GB, chỉ còn 4,5 GB còn sót lại. GitLab buộc phải khóa site bảo trì khẩn cấp để tìm hướng giải quyết và thông báo cho người dùng qua blog, Twitter và Google Doc.

Tệ hại hơn, công ty thậm chí còn không khôi phục lại được hết số dữ liệu bị mất. Trên blog riêng của mình, GitLab cho biết: “Trong số 5 bản backup được triển khai, chẳng bản nào khôi phục được hoàn toàn như nguyên trạng. Cuối cùng, chúng tôi chỉ khôi phục lại được phần dữ liệu tạo mới từ 6 tiếng trước đó trở về trước.” Điều đó có nghĩa là bất cứ dữ liệu nào được tạo mới trong khoảng 6 tiếng "sập nguồn" này sẽ bị mất vĩnh viễn.

Trong cái rủi có cái may

Trong lúc công ty cố gắng khôi phục lại cơ sở dữ liệu cũ đã bị xóa, website của GitLab bị đóng cửa trong ít nhất 6 tiếng liền, chưa kể những trục trặc diễn ra khi họ cố gắng đưa dịch vụ online trở lại cũng mất thêm khoảng vài tiếng nữa. Chính vì vậy mà phải đến sáng hôm sau, người dùng mới có tiếp tục sử dụng bình thường.

Tuy vậy, mọi thứ vẫn chưa đi đến đường cùng. Phó chủ tịch phụ trách Marketing Tim Anglade cho biết lượng dữ liệu bị mất thực chất không chứa bất cứ mã nguồn nào của người dùng mà chủ yếu bao gồm các comment và report sự cố.

Những người dùng cài đặt phần mềm của GitLab lên server riêng của mình thì hoàn toàn không bị ảnh hưởng bởi dữ liệu của họ không được kết nối tới GitLab.com. Dữ liệu của các khách hàng trả phí cũng bình an vô sự.

Anglade thừa nhận rằng đây là một sự cố không ngờ tới và vẫn có khả năng một số dữ liệu người dùng sẽ mất, nhưng sẽ không có ai phải viết lại hết code từ đầu. Chỉ có khoảng 1% người dùng GitLab phải hứng chịu hậu quả nặng nề nhất mà thôi

Đối với admin hệ thống gây ra sự cố trên, Anglade chia sẻ công ty vẫn chưa muốn đổ hết sai lầm vào anh bởi đây thực chất là lỗi của cả nhóm khi không một hệ thống backup dữ liệu nào hoạt động hiệu quả. Vậy nên công bằng mà nói thì tai nạn sập trang không phải chỉ là sai lầm của một cá nhân đơn lẻ.

Theo: Trí Thức Trẻ