Как обеспечить стабильность ИТ-инфраструктуры крупного банка

Компания «Онланта» (входит в группу ЛАНИТ) реализовала масштабный проект по организации мультивендорной технической поддержки для одного из крупнейших банков страны. Название заказчика не раскрывается по условиям соглашения о конфиденциальности, однако этот проект показал, что такая модель поддержки от «Онланты» хорошо подходит для организаций, которым важна стабильность и быстрая реакция на проблемы с ИТ.

В интервью с Вересовым Антоном, директором направления мультивендорной технической поддержки «Онланты», мы поговорили о том, как проходил проект, какие сложности возникали и что получилось в итоге. Также обсудили перспективы развития мультивендорной поддержки в финансовом секторе.

Антон, расскажите о проекте. Какие задачи стояли перед «Онлантой» на старте, и каков был масштаб и специфика ИТ-инфраструктуры, с которой пришлось работать?

Старт проекта, запущенного более 8 лет назад, был максимально интересным и в то же время сложным из-за объема работ, строгих требований к уровню обслуживания (SLA), жесткой системы штрафов и бюрократии. Первоначально мы обеспечивали поддержку более 1500 единиц оборудования Dell, а через полгода — более 1000 единиц Lenovo. Опыт и знания приобретались непосредственно в «боевых» условиях при поддержке производителей. Так было положено начало формирования собственной экспертизы.

Сейчас мы поддерживаем более 12 000 единиц оборудования только в этом заказчике, куда входят серверы, системы хранения данных и сетевые устройства разных уровней и производителей.

Какие ключевые проблемы в ИТ-инфраструктуре банка были выявлены до начала сотрудничества, и что стало триггером для перехода к модели мультивендорной технической поддержки?

Банк осознанно перешел к модели мультивендорной поддержки, чтобы снизить риски, связанные с зависимостью от одного поставщика. В крупных инфраструктурных проектах соблюдение принципов мультивендорности — вопрос безопасности и устойчивости бизнеса. Моновендорный подход создает преференции для одного производителя, снижает конкуренцию, что негативно сказывается на стоимости и значительно повышает риски, связанные с отказоустойчивостью. В современных реалиях к этому добавился риск санкций, имеющих последствия как в аппаратной части, так и в части микропрограммного обеспечения в виде запрета на получение обновлений.

Однако мультивендорность имеет и обратную сторону: 20-25% инцидентов могут возникать из-за конфликта совместимости протоколов и прошивок оборудования разных производителей и могут быть не связаны с аппаратными неисправностями. В 90% таких случаев решение подобных кейсов у вендоров занимает очень много времени, так как необходимо анализировать и не свое оборудование, что требует глубокого анализа как решения текущего инцидента, так и для установления корневой причины инцидента

Но чаще всего предпочитают указывать пальцем друг на друга. А с нашим SLA это огромный штраф и, что еще более важно, имиджевые потери.

Понимая все эти нюансы, мы всегда рассматривали инцидент с разных сторон, накапливали знания и развивали компетенции в вопросах, выходящих за рамки контрактных обязательств. Как мы видим, это дало свои плоды.

Как выстроена работа с банком в рамках проекта: от получения заявки до устранения инцидента? Сколько вендоров и типов оборудования охватывает поддержка, и какие сложности возникали при координации их работы?

У нас успешно реализована служба поддержки в формате единого окна, принимающая обращения как по почте, порталу самообслуживания и телефону, так и в разрешенных мессенджерах у заказчика. Наша команда работает как единый механизм: если обращение поступает в электронном виде и все внесено корректно, система это видит, и процесс движется автоматически. Если по каким-то причинам данных не хватает или они не корректны, то подключаются сотрудники сервис-деска. Это L1.

Оповещение всех заинтересованных лиц происходит в любом случае. Это можно посчитать излишним, но с SLA в 4 часа права на ошибку практически нет.

Далее сотрудники центра компетенций проводят первичный анализ диагностических данных и, если требуются дополнительные метрики, они их получают. Это L2+ (младшие эксперты). В зависимости от типа кейса или инцидента — когда, допустим, требуется замена компонента или доступа к нему, а АРМа администратора нет — оперативно подключаются инженеры дежурной смены, которые работают посменно и находятся на объектах заказчика. Это L2 или, как мы их называем, «полевые инженеры». Если кейс/инцидент идентифицирован как сложный, в работу включаются эксперты уровня L3.

Ну и, разумеется, отдел материально-технического обеспечения, куда входят логисты и сотрудники складов. Без них своевременное предоставление необходимых запчастей и оборудования было бы невозможно.

Наша поддержка охватывает широкий спектр оборудования Huawei, Dell, IBM, EMC, Lenovo, Brocade, Compilent и Gigabyte. У нас также есть и другие проекты, где мы оказываем поддержку оборудования по Inspur, Infinidat, HPE и Hitachi. Такой разносторонний опыт позволяет нам эффективно решать вопросы практически любой сложности.

Как организована логистика и обеспечение наличия необходимых запчастей, особенно в условиях ограничений?

Если говорить о логистике до наших складов (т.е. пополнения складов), то она выстроена в прямой зависимости от статуса оборудования, доступности комплектующих в официальных каналах, так как это разные сроки и поставщики.

У нашей команды есть опыт в поиске редких комплектующих и организации доставки запчастей из любых регионов. Мы постоянно мониторим ситуацию на рынке, что позволяет прогнозировать возможные задержки и превентивно принимать меры для их предотвращения. Уверены, что можно обеспечить поставку практически любой запчасти, если она вообще существует.

Какой уровень SLA был установлен и как контролируется его соблюдение? Какие инструменты, подходы или автоматизация применялись для повышения эффективности поддержки?

В рамках проекта установлен SLA 24*7 c решением возникающих инцидентов в течение 4 часов с момента открытия заявки. Для контроля качества и соблюдения сроков используется автоматизированная система как у заказчика, так и у нас. В нашем случае система фиксирует все этапы работы над заявкой, система заказчика — дату и время начала и закрытия, текущий статус. Кроме того, заказчик получает от нас детальные отчеты. Такой подход обеспечивает полную прозрачность и контроль над качеством наших услуг. Также мы развернули систему мониторинга в реальном времени, которая уведомляет руководителя проекта о завершении каждого этапа и позволяет оперативно реагировать на отклонения.

Какие специалисты и компетенции были задействованы со стороны «Онланты»?

В реализации проекта задействована практически вся команда «Онланты», включая смежные подразделения, занимающиеся интеграцией и программным обеспечением. Решение инцидентов в большой и сложной инфраструктуре часто требует творческого подхода. 

Удалось ли банку по итогам проекта повысить управляемость и прозрачность работы ИТ-инфраструктуры?

За коллег из банка ответить не смогу, а вот от себя могу сказать, что уход зарубежных вендоров ускорил рост компетенций и экспертизы российских компаний. Мы оптимизировали процессы, в том числе с учетом пожеланий заказчика. До этого контрактные обязательства некоторых производителей ограничивали наши возможности в этом направлении.

Как развиваются отношения с этим заказчиком сегодня? Есть ли планы по масштабированию или дальнейшей трансформации модели поддержки?

«Онланта» работает с данным банком уже 8 лет. За это время мы выстроили устойчивые, доверительные и партнерские отношения, что мы особенно ценим. Гордимся тем, что смогли сохранить высокий уровень обслуживания и соблюдение SLA даже в самый сложный период 2022 года, когда многие компании просто ушли.

Конечно, у нас есть планы по масштабированию и развитию модели поддержки и не только в этом проекте и заказчике. Мы внимательно следим за рынком и его тенденциями. Сейчас активно используем и совершенствуем практику прогнозирования и выявления сбойных компонентов до их выхода из строя. Лучший инцидент — это тот, которого не было.

Какие выводы вы сделали из этого проекта? Что можно порекомендовать другим компаниям, планирующим внедрение мультивендорной поддержки?

Этот проект показал, что необходимо собирать, систематизировать и анализировать информацию, преобразовывая ее в знания, а не просто использовать чужие сервисы, руки и головы. Безусловно, нужна сильная и сплоченная команда, надежные партнеры и поставщики, дорожащие своей репутацией и живущие в рамках законов РФ. Также необходимо тщательно оценивать риски и опираться на проверенные решения.

Успех нашего проекта мультивендорной поддержки стал возможным только благодаря квинтэссенции всех этих факторов и правильно выбранному курсу развития со стороны руководства компании.

По вашему мнению, как будет развиваться рынок мультивендорной поддержки в ближайшие годы, особенно в финансовом секторе?

Безусловно, рынок мультивендорной поддержки будет расти, особенно в финансовом секторе. Банки, как «передовики» ИТ, постоянно расширяют и совершенствуют свою инфраструктуру. Мы стараемся идти чуть быстрей там, где это возможно — разворачиваем новые лаборатории, проводим стресс-тесты, обновление прошивок, воспроизводим самые частые инциденты и ищем наиболее оптимальные пути решения.