Весеннее обновление платформы данных Data Ocean Nova

Lakehouse-платформа данных Data Ocean Nova получила второе обновление в 2026 году. В релизе 2026.1.0 увеличены возможности процедурного расширения LPSQL для MPP-движков системы: теперь работа с хранимыми процедурами доступна в StarRocks. Расширены федеративные возможности системы: Trino, StarRocks и Impala получили новые коннекторы для работы с внешними системами. Команда Data Sapience также представила ряд улучшений, направленных на повышение производительности путем внесения изменений в компоненты платформы и новые сервисы.

Список ключевых изменений релиза 2026.1.0. 
*Указаны изменения и улучшения, являющиеся собственной разработкой Data Sapience и не доступные в open source сообществе.

Процедурное расширение Lakehouse Procedure SQL (LPSQL) 
В процедурном расширении LPSQL добавлена совместимость с движком StarRocks и новые операторы для работы с метаданными и легаси-функционалом СУБД Oracle. Также была повышена информационная безопасность при работе с вызываемым процедурным кодом.

Nova StarRocks 
Помимо добавления функционала процедурного языка, команда разработки Data Sapience повысила производительность федеративных запросов к внешним источникам данных. Теперь обмен происходит без узких мест в архитектуре. Реализована материализация кэша запросов (Query Cache), что способствует экономии оперативной памяти при обработке данных и повышению пропускной способности системы. Дополнительно реализован механизм хранения всей истории пользовательских запросов в объектном хранилище для ретроспективного анализа, обучения и обогащения ИИ-функционала.

Nova Trino
Реализован новый коннектор к Teradata, позволяющий производительно и эффективно общаться с внешней СУБД. Дополнительно добавлены механизм хранения истории пользовательских запросов в объектном хранилище и поддержка нескольких Hive Metastore каталогов при работе с KeyCloak. Ядро движка повышено до базовой версии 479.

Nova Impala
Для движка Impala были расширены возможности настройки Admission Control, что позволяет управлять пропускной способностью системы. Новый JDBC-коннектор к внешним СУБД работает в распределенном режиме на чтение и запись, повышая возможности федеративных запросов. Параллельная работа DDL-операторов, поддержка bloom-фильтров, использование дискового tuple cache улучшила производительность сложных аналитических SQL-запросов.

Nova Spark
Для повышения производительности Spark выполнено обновление фреймворка нативных вычислений DataFusion Comet до версии 0.12. Реализована интеграция сервиса Spark Connect API с KeyCloak. Также в релизе повышена стабильность и скорость работы с табличным форматов Iceberg за счет оптимизации использования оперативной памяти и кэширования equality delete файлов. 

Объектное хранилище Data Ocean Store
Реализовано тэгирование файлов, благодаря которому можно получать сведения об использовании S3-хранилища из метаданных: кто записал файл в ваше S3-хранилище, с каким ключом и каким приложением. Реализован механизм управления конкурентной работой на уровне S3 в зависимости от приоритета клиента.

Managed Iceberg Tables
Добавлены новые сценарии обслуживания табличного формата Iceberg, повышена надежность и безопасность работы.

Nova Ranger
Теперь в сервисе доступен импорт пользователей из Keycloak с синхронизацией клиентов, поддержка RLS в S3 Policy Mapper и маскирования данных. Также реализован дисковый кэш событий аудита.

ИИ-сервис оптимизации qModel
Реализована интеграция с движком StarRocks и обновлен сценарий переобучения модели оптимизации.

MetaAggregator
Сервис переведен на режим постоянной работы с инкрементальным сбором статистики, в том числе по таблицам, отличным от Iceberg. В температурной карте теперь учитываются запросы StarRocks и Trino.

Новый сервис Resource Bank (Preview)
Resource Bank анализирует онлайн-данные о нагрузке на кластеры и позволяет динамически переконфигурировать ресурсные очереди (включая режим dry-run для оценки предлагаемых изменений).

Nova Deploy API
В платформу добавлен новый компонент Nova Deploy API, интегрированный с интерфейсом Platform UI Deploy, который упрощает и ускоряет процесс первичной настройки платформы Data Ocean Nova.

Tool Storage
Реализован сервис Tool Storage, предоставляющий возможность загружать необходимые артефакты для работы с платформой Data Ocean Nova в рамках закрытых контуров без выхода в интернет. На текущий момент сервис поддерживает скачивание драйверов.

Нововведения пополнили список накопленных изменений и улучшений платформы Data Ocean Nova относительно open source функционала.