Работник GitLab удалил все данные клиентов стартапа, стоимостью в $ 2 млрд

Стартап GitLab, собравший $ 25 млн инвестиций, ощутил на себе "очень плохой день", как сообщает временный вице-президент компании по маркетингу Тим Англаде.

GitLab предоставляет виртуальную рабочую среду для программистов, где они могут работать над кодом вместе, объединяя отдельные проекты в единое целое. Это быстрорастущая альтернатива GitHub после громкого запуска в Силиконовой долине оценивалась в $ 2 млрд.

Только утром в среду itLab начал возвращаться в Интернет. Но что хуже падения серверов и крупного простоя программистов? Компании теперь предстоит рассказать пользователям, что часть данных стерта навсегда.

О плохом дне

Он начался во вторник вечером, когда системный администратор GitLab попытался исправить замедление на сайте, очистив базы данных резервного копирования и перезагрузив процесс копирования. Но, увы, администратор случайно набрал команду удаления первичной базы данных.

К тому времени, как он заметил ошибку и кинулся все исправить "удалилось около 300 Гб, и только 4,5 Гб осталось", как сообщается в блоге компании. К сожалению, пострадало множество пользователей. Сайт выключили до выяснения причин и поиска решения проблемы. Компания держит связь с пользователями через свой блог в Twitter. Что еще хуже, "5 методов резервного копирования не работают должным уровнем". В блоге сообщают, что восстановление старой резервной копии завершилось, но последние 6 часов работы не сохранились. Это означает, что любые действия, сделанные на протяжении последнего шестичасового окна могут быть потеряны навсегда".

Плохие и хорошие новости

При восстановлении старой версии базы данных, сайт не работал в течение шести часов, сказал Англаде. Неустойчивые сбои продолжались еще несколько часов, пока команда стартапа не взялась за работу. Вернуть к жизни сервис удалось только в среду утром.

Хорошая новость для пользователей состоит в том, что база данных, которая была затронута на самом деле не содержит программного кода. Только такие вещи, как комментарии и сообщения об ошибках. Кроме того, Англаде сказал, что у многих клиентов, которые установили программное обеспечение GitLab на собственных серверах, не было проблем, ведь они не подключены к сайту компании. Также не пострадали платежеспособные клиенты, так что финансовые последствия сводятся к минимуму.

Что касается системного администратора, который допустил ошибку, Англаде не ложит вину на его плечи. Он говорит, что это вина всей команды, ведь не работала ни одна другая система резервного копирования. Справедливее сказать, что ошибка совершается коллективом, а не одним человеком.

Перевод специально для mmgp.ru

У него наверное, в момент «осознания» произошедшего, седых волос не только на голове а и по всему телу добавилось.

Не знаю как сотрудник отреагировал, но представьте реакцию руководства.
Во-первых, уже временный вице-президент комментировал ситуацию.
Во-вторых, такое количество данных стереть и не восстановить привело, наверное, к краху компании...

Ну да согласен с вами, реакцию руководства сложно представить, из за одного накрылось все и сразу, и даже резервное копирование «вдруг» отказало.

Шесть часов с каментами - фигня, чай не твиттер трампа полетел

Могло быть и хуже если бы вовремя не заметили

Вовремя заметили? ) Заметили, когда осталось 4,5 Гб данных из 300 ГБ. Это 1.5 % они не удалили. Я бы сказал слишком поздно заметили свою ошибку, иначе не было бы этой новости.