Как COVID привел к потопу в серверной и остановил бизнес

Лето 2021-го. Компания N (название неважно — просто солидное производство) стабильно работает, а мы поддерживаем ее IT-инфраструктуру уже несколько лет. Клиент недавно переехал в новый офис с отдельной серверной комнатой. Подрядчик сделал все почти идеально, кроме одного: вопреки нашим рекомендациям, сэкономил на пожаротушении, поставив жидкостную систему вместо газовой. И к этому роковому решению мы еще вернемся.

Один из сотрудников компании N заболел COVID-19. Руководство немедленно вызвало службу дезинфекции для обработки всех помещений. Методика — распыление горячего пара, эффективного против вирусов.

Процедура проводилась вечером после ухода всех сотрудников. Пожарная сигнализация по офису была отключена, чтобы пар не вызвал ложных срабатываний. Но серверная считалась изолированной зоной — там сигнализацию оставили.

И тут началась цепочка роковых случайностей:

• пар просочился в серверную через вентиляцию;
• пожарные датчики приняли густой горячий пар за дым;
• сработала жидкостная (!) система пожаротушения, залив водой все, что было в серверной.

Итог: дорогостоящее оборудование — серверы, маршрутизаторы, коммутаторы — превратилось в мокрый металлолом буквально за считанные секунды.

Полный паралич бизнеса: 1С, CRM, интернет — все встало

Компания проснулась утром в полной тишине:

• сотрудники не могли зайти в интернет;
• учет в 1С замер, а с ним — производство и логистика;
• корпоративная телефония перестала существовать;
• доступ к файлам и документам был утрачен.

Бизнес впал в полный ступор: производство встало, заказы зависли, сотрудники оказались в цифровом вакууме.

Почему эффект был настолько разрушительным? Политика компании — «все внутри». ИТ-инфраструктура компании была собрана в одной серверной, без облачных копий и удаленного резерва.

Как восстанавливать бизнес, если серверная утонула

Катастрофа произошла в пятницу утром. Выходные оказались спасением и главным шансом для срочного восстановления. У компании были внешние резервные копии данных — именно они стали спасательным кругом.

Наша команда немедленно начала работать по нескольким направлениям:

• Экстренная реанимация оборудования. То, что удалось быстро просушить и починить, запустили в работу, на ходу собирая временную IT-инфраструктуру.
• Восстановление критичных сервисов. Благодаря внешним резервным копиям развернули почту и 1С во внешнем облаке, подключив сотрудников по VPN.
• Срочная закупка оборудования. За выходные менеджеры и закупщики обзвонили поставщиков, организовав закупку и доставку «железа» и комплектующих «с колес», а инженеры устанавливали и настраивали все прямо в режиме 24/7.

К понедельнику утром, когда первые сотрудники открыли двери офиса, компания уже работала практически в штатном режиме. Бизнес был спасен, хоть и ценой больших нервов и почти бессонных выходных.

Уроки из катастрофы: как CEO не попасть в похожий сценарий

Эта история должна стать «вьетнамским флэшбеком» не только для меня, но и для всех руководителей компаний. Вот несколько выводов, которые помогут избежать похожих трагедий:

1. Никогда не экономьте на системе пожаротушения серверной

Жидкостные системы — это смерть для оборудования. Серверные должны тушиться только газовыми системами (фреон, хладон).

2. Внешние резервные копии — жизненная необходимость

Храните бэкапы физически отдельно от основной инфраструктуры. Облако — идеальный выбор, поскольку не зависит от вашего офиса.

3. Распределяйте инфраструктуру

Не кладите все яйца в одну корзину. Выносите критически важные сервисы в облако или используйте теплый резерв (предварительно настроенные серверы в другой локации).

4. Всегда имейте план аварийного восстановления (DRP)

Это не документ для галочки, а инструкция к выживанию. DRP должен быть у каждой компании, регулярно тестироваться и обновляться.

5. Грамотная IT-команда — это не затраты, а страховка

Отработанные сценарии быстрого реагирования и наличие опытных специалистов решают исход кризиса.

Главный вывод: не ждите катастрофы

Непредсказуемость — это единственная константа, с которой бизнесу придется жить всегда. Сегодня это COVID-19 и паровая обработка, завтра — потоп, послезавтра — пожар или небрежность подрядчиков.

Лучший способ пережить кризис — готовиться к нему заранее. Инвестируйте не в технику, а в надежность своей IT-инфраструктуры и умение ее быстро восстанавливать. Не ждите своего «пара в вентиляции». Поверьте моему опыту: предупредить катастрофу — гораздо дешевле.