Откровенный разговор о Visiology 3 с владельцем продукта

Переход на Visiology 3 является открытым вопросом для многих пользователей BI в России. С одной стороны платформу ждут как замену для Microsoft Power BI за счет поддержки DAX и визуальной модели данных. С другой стороны Visiology 3 позволит значительно повысить производительность и гибкость BI для пользователей Visiology 2. А с третьей стороны, уже сейчас на Visiology идут миграции с других зарубежных платформ, таких как Qlik или Tableau. О том, как идет разработка третьей версии, какие возможности она предлагает пользователям и как формируется бэклог разработки рассказала Анастасия Галковская, владелец продукта Visiology Dashboars. 

Расскажите, как будет развиваться функционал Visiology 3? Какие возможности вы планируете реализовать в первую очередь?

Выбор функций для внедрения в платформу происходит, исходя из запросов реальных пользователей. Мы не гонимся за какими-то модными «фишками», которые создают просто ощущение крутости, наоборот, стремимся сначала отработать наиболее востребованные кейсы. Согласитесь, можно реализовать 3 функции, которые покроют 20 кейсов, а можно реализовать 20 функций, которые пригодятся только 2-3 пользователям.

Например, функции по преобразованию текста встречаются гораздо реже, чем, например, расширенные возможности фильтрации. Дело в том, что текстовые преобразования чаще всего логичнее проводить на уровне ETL, и они гораздо реже применяются на уровне аналитической платформы. 

При этом мы совершенно точно не отказываемся принципиально от внедрения расширенных возможностей для какого-либо направления. ейчас перед командой стоит задача обеспечить охват самых широких возможностей расчета, и только после этого внедрять на платформе различные дополнения. 

А какие формулы DAX вы планируете доработать в ближайшее время?

Основные направления работы с DAX — это функции работы с датами, логические функции, а также дополнительные условия расчета в различных ситуациях. 

Работа с текстами и математические функции, а также табличные функции будут реализованы во вторую очередь, конечно, кроме самых востребованных. В любом случае к концу года мы планируем покрыть максимальное количество потребностей пользователей, работающих с Power BI. Можно сказать, что задача команды разработки — сравняться с возможностями оригинального DAX из Power BI для подавляющего большинства кейсов. Уже сейчас, кстати, становится понятно, что некоторые элементы оригинального синтаксиса будут не востребованы, так как через наиболее популярные формулы можно сделать то же самое. 

Каким образом вы планируете двигаться в соответствии с реальными запросами компаний?

Начнем с того, что сама разработка Visiology 3 началась потому, что мы отвечали на запросы клиентов в области поддержки визуальной модели данных, мета-языка, self-service и работы с большими данными. Но это все — крупные категории. В детали мы погружаемся благодаря кейсам, которые предоставляют наши клиенты, а также потенциальные пользователи. То есть реальные задачи помогают нам выводить на первый план возможности, которые будут покрываться на уровне DAX.

Кстати, подать такой кейс может любая компания — не только пользователи Power BI (хотя таких большинство). Это может быть как простой, так и сложный кейс — понимание сложности у каждого свое — для нас важнее всего максимальное количество контекста, чтобы были понятны сферы и особенности применения BI в конкретной ситуации. 

Есть ли в ваших планах развитие виртуального ассистента?

Да, действительно это довольно популярная вещь. В частности, к виртуальным ассистентам привыкли некоторые пользователи Power BI и Tableau. Для Visiology на сегодняшний день создан чат-бот ViTalk GPT, который работает в Telegram. И он уже сейчас привлекает огромный интерес пользователей, потому что помогает генерировать готовые запросы на языке DAX и ETL-скрипты на Python. За счет этого достигается значительная экономия времени аналитиков и разработчиков (в среднем порядка 20%), а также открывается возможность решения сложных задач на платформе практически без знания программирования.

Мы также планируем встроить функционал ответов на простые вопросы в виде графика или визуализации прямо в платформу. Это произойдет следующим шагом после добавления и развитии обязательных функций, которые хотят видеть в системе если не 100%, то 99% пользователей. 

Когда Visiology 3 можно будет считать полностью зрелым продуктом, сравнимым по функциям с Visiology 2?

Ответ на этот вопрос не может быть однозначным, потому что все зависит от проекта. В реальности могут использоваться те или иные возможности BI. В одних случаях нужна расширенная загрузка данных, в других — больше функций по подготовке и публикации дашбордов, а иногда важнее всего оказываются разнообразные возможности передачи результатов коллегам. Тем не менее, все это мы реализуем на базе Visiology 3 уже в течение 2023 году.

Дополнительные возможности, такие как расширенная поддержка SmartForms или регламентная отчетность (кстати по этому направлению у Qlik был вообще отдельный модуль), а также узкие задачи, которые являются расширением стандартного функционала BI планируются на начало 2024.

Когда планируется сертифицировать Visiology 3 по требованиям ФСТЭК?

На самом деле, если бы запросы на сертификацию были сегодня, мы бы ее уже провели. У нас большой опыт работы с органами сертификации, и Visiology 2 используется на ряде объектов КИ. Кстати, недавно как раз был сертифицирован один из новейших релизов Visiology 2.32, и заказчики уже массово переходят на более производительный и функциональный релиз. 

Что касается Visiology 3, мы начнем выпускать сертифицированные версии, как только платформа догонит Visiology 2 по своим возможностям именно с точки зрения запросов чувствительных к сертификации заказчиков. Этого стоит ожидать в конце 2023 года.

Каким образом тогда пользователям работать с Visiology 3 сегодня?

Для некоторых проектов Visiology 3 подходит уже сегодня. Однако большинство наших пользователей работают с Visiology 2. Поддержка второй версии платформы в полном объеме сохранится как минимум до 1 января 2025 года. Для решения будут отслеживаться все критичные баги, выпускаться обновления безопасности. 

Все это позволяет совершить планомерный переход с одной версии платформы на другую в течение 2024 года. Начиная с версии Visiology 3.1 мы специально выпускаем релизы таким образом, чтобы Visiology 2 и Visiology 3 были взаимосвязаны и позволяли публиковать отчеты на одном и том же портале. 

Но опытные пользователи BI знают, что отчетность постоянно требует обновления. Периодически отчеты устаревают и становятся не нужны, при запуске новых проектов создается целый набор дашбордов, и часть из них не используется — вместо них создаются другие. Поэтому мы просто рекомендуем создавать новые дашборды на Visiology 3, как только вам начинает хватать функций в новом релизе. Старые дашборды будет несложно перенести в 2024 году, когда придет время их модернизации и оптимизации. Но а если останутся отчеты, которые не претерпели никаких изменений, их можно будет мигрировать в спокойном режиме. 

Сколько людей нужно обучить работе с Visiology, чтобы эффективно пользоваться платформой?

Все зависит от профиля и масштабов использования платформы. Visiology предлагает курсы по аналитике, администрированию и отдельную программу по SmartForms. Также есть продвинутый уровень обучения «JS для аналитика». 

Если вам хватает возможностей из коробки и нет задачи ручного ввода данных — достаточно подготовить аналитиков и администратор. Если требуются кастомизации, то потребуется курс продвинутого аналитика. 

Количество аналитиков зависит от специфики и проекта сложности. Сколько отчетов вы будете готовить? Как часто они обновляются? Как организовано администрирование BI? Как много потребителей BI и какие задачи они ставят? Ответив на эти вопросы, можно получить примерную картину потребностей в обучении.

Кстати, для первичного знакомства у нас есть курсы самоподготовки по базовым функциям, в том числе для обучения «с нуля». А для вопросов предусмотрены чаты поддержки с нашей командой и уже активно развивается практика взаимопомощи в профессиональном сообществе аналитиков и Клубе Экспертов Visiology.

Каковы преимущества 3 версии платформы? Что нельзя сделать в Visiology 2?

Вообще Visiology 3 отличается переработанным движком и совершенно иными возможностями по работе с данными над уровнем витрин. Таким образом платформа дает больше гибкости и производительности, одновременно позволяя работать с миллиардами строк при высокой скорости отклика.

Новая архитектура при этом позволяет решить некоторые задачи намного проще. Например, в Visiology 3 легко реализовать расчеты по долям. Если у вас есть несколько категорий и подкатегорий, нередко возникает задача посчитать долю на разном уровне иерархии. И, конечно, аналитику хочется, чтобы сумма на всех уровнях высчитывалась относительно 100% и диаграммы менялись при переходе (drill-down) на каждый новый уровень. Провести такой расчет очень сложно не только в Visiology 2, но и в большинстве российских систем. В некоторых вообще невозможно. На Visiology 3 такой запрос можно собрать в качестве одной-двух мер.

Еще одно отличие — во 2 версии все расчеты привязывались к виджету. И если вы настроили расчет для круговой диаграммы, а теперь хотите сводную, нужно создавать новый расчет.

В Visiology 3 предусмотрен отдельный слой расчетов на уровне модели данных. Благодаря этому меры можно переиспользовать во всех виджетах. Вы что-то исправили, и изменения тиражируются на все визуализации. Благодаря этому увеличивается скорость разработки, снижается количество ошибок, связанных с повторным ручным вводом изменений.

Расскажите, почему вы рекомендуете использовать модель данных «звезда»

Работать со «звездой» удобно на разных платформах. Кстати, про «звезду» подробно рассказывал наш партнер из BI2BUSINESS. Она позволяет легче перейти с одной BI-платформы на другую. А если речь идет о Visiology 2 и Visiology 3, нужно будет только перезагрузить таблицы данных и создать меры. Поэтому при работе с Visiology 2 мы рекомендуем использовать «звезду» для любых новых проектов. Таким образом снижается сложность и трудоемкость дальнейшего переноса аналитики.

Как минимум нужно перенести предагрегаты на уровень DWH. Это общая рекомендация с точки зрения производительности и поддержки для любых BI-платформ. Таким образом, универсальная модель данных позволяет получить более производительное решение прямо сейчас и заранее подготовиться к миграции. 

На какие объемы данных рассчитана Visiology 3? За счет чего это достигается?

На сегодняшний день мы тестируем систему на объемах данных порядка 2 миллиардов строк и получаем очень приличную производительность. В основном это стало возможным за счет использования ClickHouse. Но это не значит, что мы просто взяли и поместили данные в CH, припаяли к нему DAX. На самом деле работы по оптимизации ведутся до сих пор, и с каждой версией мы продолжаем улучшать производительность движка и эффективность хранилища. 

Фактически мы интегрировали в Visiology 3 высокопроизводительный DWH и продолжаем его настраивать и оптимизировать, создаем определенные виды таблиц для определенных операций, учим использовать кеш максимально оптимальным образом и так далее. Чтобы оптимизировать СУБД нужны глубокие знания, наличие архитекторов СУБД. У нас он есть и очень крутой — это Никита Ильин. Так что мы сами оптимизируем ClickHouse и в Visiology 3 все плюсы такой оптимизации есть уже «из коробки».

Что говорят про Visiology 3 специалисты по Power BI?

Мы получаем отзывы с момента выхода первой предварительной версии Visiology 3.0. Cамые активные начали тестировать решение еще в прошлом году и, конечно, все ждут новых функций, делают запросы. Тот факт, что специалисты готовы давать обратную связь помогает нам двигаться дальше. Часто люди тратят даже свое личное время на эксперименты с новой системой, и я хотела бы сказать за это огромное спасибо. Мы в первую очередь ориентируемся на те запросы, которые покрывают наиболее востребованные задачи, а также развиваем функционал, необходимый для повседневной работы аналитиков. Основными источниками приоритетов в данном случае являются лучшие практики, наработанные в Visiology 2, а также кейсы, поступающие от наших существующих и потенциальных заказчиков специально для реализации на Visiology 3. 

А как попробовать платформу прямо сейчас для тех, кто еще не работал с ней?

Во-первых, есть демо-стенд, на котором развернуты актуальные версии Visiology — 2 и 3. Можно самостоятельно пощупать, попробовать, запустить свои запросы. Получить доступ к нему можно по ссылкам, которые вы найдете здесь. 

А можно ли получить дистрибутив Visiology 3 для тестов внутри компании?

Да, такая практика тоже есть. Для этого нужно подать заявку и обсудить этот вопрос в отделе продаж.