Data Sapience обновила решение Data Ocean Flex Loader

Компания Data Sapience — разработчик платформы для работы с большими данными Data Ocean — выпустила очередное обновление инструмента для пакетной загрузки и репликации данных Data Ocean Flex Loader. 

В новой версии был реализован режим экспорта из Lakehouse-платформы Data Ocean Nova. Теперь Flex Loader может не только гарантированно доставлять данные в хранилище, но и выгружать витрины, агрегаты и любые другие производные данные во внешние системы-потребители.

Список других улучшений:

• Реализован механизм обработки сценария SCD1 в табличный формат Apache Iceberg с применением оператора MERGE;
• Улучшена производительность захвата данных из СУБД Oracle;
• Добавлен коннектор к источнику данных Open Search;
• Добавлена возможность кастомизации служебных символов при загрузка плоских файлов;
• Изменена логика работы межкластерной репликации Greenplum -> Greenplum;
• Изменена логика работы репликации Lakehouse -> Lakehouse при работе с Iceberg-объектами;
• Улучшена детализация журналирования;
• Добавлены альтернативные целевые приемники журналирования.