Как разработать CDN-платформу для видеосервиса

О проекте

Бизнес разрабатывает ПО с открытым исходным кодом для высокопроизводительной доставки веб-контента и расширенной защиты от DDoS-атак. Среди ИТ-продуктов: балансировщик нагрузки, веб-ускоритель, брандмауэр веб-приложений и др. Все решения реализованы в ядре Linux и используют традиционные управляемые событиями сокеты в kernel-space и sk_buff буфере.

Core-продукт клиента был внедрен в американский видеосервис, входящий в цифровую экосистему. В плеере доступен просмотр роликов из социальной сети, интернет-шоу и прямых трансляций. 

К моменту обращения сеть не направляла запросы зрителей на ближайший сервер. DevOps инженерам, Python- и С/С++ разработчикам RedLab было необходимо с нуля спроектировать CDN-платформу (Content Delivery Network), которая обеспечит быструю и стабильную доставку медиа в разные точки планеты.

При постановке технического задания заказчик сформулировал ряд требований к решению:

• Ускоренное отображение статического и динамического контента.
• Быстрая загрузка страниц в видеоплеере.
• Бесперебойная работа во время пиковых нагрузок на трафик.
• Обработка сложных алгоритмов с использованием библиотеки для математической оптимизации.

Реализация

Технологический стек:

• Python
• REST API
• FastAPI
• Ansible
• Kafka

Видеосервер был написан на языке программирования С и при пиковой нагрузке обслуживал до 1,5 млн соединений, поэтому сначала эксперты RedLab глубоко изучили используемые технологии, далее — приступили к разработке CDN-платформы:

• Работали в модуле ядра Linux, не используя User-space. Отсутствие необходимости передачи аргументов и промежуточных слоев привело к значительному повышению скорости работы программы.
• Внедрили фреймворки и библиотеки Python, которые помогли улучшить работу различных адаптивных алгоритмов.
• Создали автоматически развертываемые ноды сети, которые можно централизованно администрировать через REST API на FastAPI.
• Использовали скрипты на Ansible для развертывания, конфигурации нод и постройки маршрутизации.
• Внедрили Kafka для взаимодействия между нодами, обновления BGP маршрутов и связи с управляющими backend-компонентами.
• Написали документацию и провели тестирование ПО с учетом особых требований к надежности и отказоустойчивости системы.
• Спроектировали панель администраторов, панель менеджеров и бизнес-дашборды.