Data Sapience выпустила плановое обновление Data Ocean Nova

Lakehouse-платформа данных Data Ocean Nova получила осеннее обновление. В релизе 2025.7.0 была реализована интеграция всех компонент и сервисов системы с IAM Keycloak, добавлена JWT-аутентификация для всех SQL-запросов, реализована поддержка функционала Data Ocean Cluster Manager 2.3, добавлен сервис автоматических оптимизационных рекомендаций и представлен обновленный фреймворк вычислений Spark 4.

Детальный список изменений релиза 2025.7.0. 
*Указаны изменения и улучшения, являющиеся собственной разработкой Data Sapience и не доступные в open source сообществе.

StarRocks

• Базовая версия ядра 3.5.5;
• Улучшена работа с внешней статистикой;
• Реализована работа с Parquet- и Iceberg-таблицами через один каталог;
• Добавлена возможность авторизации по группе пользователя в ActiveDirectory.

Impala.2025.7.0

• Кеширование удаленных данных для улучшения производительности — Remote Data Cache;
• Запись статистики в Puffin-файлы Iceberg;
• Повышение производительности выполнения высокоселективных запросов (page indexes);
• Оптимизация сбора инкрементальной статистики для таблиц Iceberg;
• Оптимизация обработки MONTH/DAY-партицирования Iceberg-таблиц за счет новых функций работы с временными метками;
• Улучшения функционала автоматического увеличения MEM_LIMIT;
• Возможность регистрации существующих Iceberg-таблиц;
• Оптимизация структуры индекса OpenSearch для запросов Impala.

Spark

• Полная поддержка Apache Spark 4.0 с улучшениями производительности;
• Новые доступные сервисы:
  + Нативные вычисления с использованием Apache DataFusion Comet;
  + Интеграция с метакаталогом Apache Polaris;
  + Marimo UI для пользовательских веб-ноутбуков.

Nova Iceberg Maintenance Service (NIM)

• Обновление до версии 2.0.3;
• Новый алгоритм планирования ресурсов;
• Добавлена возможность запуска задач обслуживания в агрегированном режиме (список схем, таблиц);
• Режимы обслуживания: operative, rewrite-all;
• Интеграция журналирования с PostgreSQL.

Другие компоненты

• Meta Aggregator: оптимизация Parquet;
• Trino:
  +Базовая версия ядра 476;
  +Поддержка кириллицы для LDAP;
  +Улучшенное журналирование;
• Data Ocean Store: русскоязычный веб-интерфейс;
• Iceberg: обновление PyIceberg до 0.9.1;
• YuniKorn обновлен до 1.6.2.