Урок ценой в миллионы: как отказ от резервных копий чуть не убил бизнес

За два десятилетия в ИТ я повидал многое: от серверов, плавающих в сточных водах, до стоек, прикрепленных к гипсокартону на скотч. Но история, которую я расскажу, — это классика корпоративного самоубийства, начинающаяся с безобидной фразы: «Мы там сервер уронили, но он же включится, да?»

С этого вопроса для одной торговой компании пошел отсчет четырех суток аврала, превратившего обычный офисный переезд в борьбу за выживание бизнеса.

Предупреждение, которым пренебрегли

Все началось со звонка клиента: срочный переезд, арендодатель торопит. Наша задача была проста — помочь с подключением оборудования на новом месте. Но предварительный аудит сразу выявил три критические уязвимости:

«Железо-ветеран». Серверы, отметившие десятилетний юбилей, держались на честном слове. Мы предупредили: оборудование может не пережить даже обычного отключения, не говоря уже о переезде.

Резервные копии на том же сервере. Все данные, включая бэкапы, хранились в одной корзине, нарушая главное правило «3-2-1».

Иррациональный страх облаков. Клиент категорически не доверял облачным технологиям, считая их «слишком рискованными» и «дорогими».

Наше предложение было очевидным: экстренно сделать полную копию данных в облако и усилить защиту. Но заказчик решил рискнуть. Через несколько часов грузчики уронили полку с серверами.

Точка невозврата

Когда наши инженеры включили оборудование, старые жесткие диски после удара предсказуемо отказали. Вместе с ними исчезли и резервные копии. Почта, база «1С», документы за годы работы — клиент потерял все.

На восстановление критически важной инфраструктуры (CRM, почта, бухгалтерия) у нас было 96 часов. Промедление грозило полной остановкой бизнеса. Попытки реанимировать мертвый сервер были бессмысленны, поэтому мы сразу перешли к плану «Б» — экстренному развертыванию инфраструктуры в облаке.

За первые двое суток мы восстановили базовые коммуникации: почту и контроллер домена. К вечеру второго дня команда клиента уже снова принимала заказы. Облако, которого они так боялись, стало их спасательным кругом.

Следующие двое суток мы искали способ вернуть «1С». На помощь пришла компания, обслуживающая их бухгалтерское ПО. У специалиста была резервная копия месячной давности, сделанная перед одним из обновлений. Бухгалтеры смогли наверстать упущенное за полтора дня, так как большинство документов дублировалось в системе ЭДО. Чудом сохранилась и давняя копия файлового сервера, где потери оказались минимальными.

Через 96 часов компания вернулась к работе, но уже с новой, гибридной инфраструктурой: критически важные данные переехали в облако, а локальный сервер получил надежную систему резервного копирования. Этот урок руководство усвоило навсегда.

Как не наступить на те же грабли: 3 вопроса вашему ИТ-директору

Эта история закончилась хорошо, но могла стать фатальной. Чтобы не оказаться на месте этого клиента, задайте своему техническому директору или системному администратору три простых, но безжалостных вопроса.

1. Если завтра офис сгорит, через сколько часов мы сможем выставить счет клиенту?
   Этот вопрос проверяет, есть ли у вас внешние резервные копии и работает ли правило «3-2-1»: три копии данных на двух разных носителях, одна из которых — вне офиса.
2. Что будет, если сервер просто не включится?
   У вас должен быть четкий план аварийного восстановления (Disaster Recovery Plan). Где будет развернута инфраструктура? Что станет запасным сервером? Сколько времени займет реанимация? Этот план должен быть не для галочки, а регулярно обновляться.
3. Когда мы в последний раз обновляли критически важное оборудование?
   «Железо» стареет быстрее, чем кажется. Если дискам и материнской плате вашего ключевого сервера больше 5 лет — пора планировать обновление.

Упавший сервер — не приговор. Но только тогда, когда у бизнеса есть рабочий план восстановления, а за спиной его ИТ-службы стоит надежный партнер, готовый действовать быстрее, чем того требует SLA.