Сервис на основе БЯМ в четыре раза ускорил проверку академических текстов
Open-source сервис Edulytica был разработан в учебно-научной лаборатории LISA совместными усилиями аспирантов и студентов университета
Решение может использоваться в любом учебном учреждении для оценки академических текстов: рефератов, докладов, дипломов, ВКР, диссертаций и т.д.
Сервис автоматически выделяет поставленные автором цели и задачи исследования, оценивает, насколько они были достигнуты, анализирует содержимое каждого раздела и делает суммаризацию. Такая проверка с помощью искусственного интеллекта помогает студентам самостоятельно выявлять непроработанные моменты в материалах. Но в первую очередь инструмент предназначен для преподавателей, его задача — сократить время проверки студенческих работ.
«Приступая к разработке решения, мы провели несколько глубинных интервью с преподавателями ИТМО, подтвердили актуальность проекта и уточнили пожелания к будущему сервису. Убедились в том, что аналогичных по функционалу инструментов, которые помогали бы экономить время преподавателей, нет. Также подтвердили гипотезу о том, что открытые большие языковые модели с проверкой научно-исследовательских работ не справляются. Сегодня работа над инструментом Edulytica продолжается, и результаты следующего этапа будут представлены на международной конференции FRUCT», — отметил руководитель группы разработки Edulytica аспирант ИТМО Владислав Терещенко.
В решении Edulytica использовались открытые модели LLaMa, Mistral и дообученные для русского языка модели Saiga. Дообучение проводилось методом PEFT. Бэкенд сервиса написан на Python с использованием фреймворка FastAPI, клиентская часть создана с использованием фреймворка React.
«Оценивая эффективность сервиса, мы исходили из того, что для внимательного изучения студенческой работы научному руководителю нужно в среднем два часа. При этом объем материала для разбора составляет примерно 9000 слов. После использования сервиса Edulytica объем текста сокращается до 2000 тысяч слов. Пропорционально сократится и время, которое преподаватель потратит на анализ — с 120 до 30 минут в среднем. Эти предварительные результаты мы планируем подтвердить после доработки и масштабного тестирования сервиса в следующем учебном году», — отметил руководитель учебно-научной лаборатории LISA, доцент факультета инфокоммуникационных технологий Дмитрий Федоров.
Открытая библиотека Edulytica можно ознакомиться здесь.