Как эффективно провести оценку обучения

Старший методолог CBSD — Наталья Лэм провела анализ исследования международного партнера CBSD — Ассоциации по развитию талантов (ATD). Исследование «Making Learning Assessments Successful: Using Performance and Tests to Measure Knowledge and Skills Learned in Training» освещает методы оценки эффективности обучения через тестирование и оценку производительности. Эта работа представляет особую ценность для профессионалов в сфере обучения и развития и предоставляет структурированный обзор подходов к оценке знаний и навыков.

Исследование основывается на опросе 318 профессионалов по развитию талантов и представляет собой детальный анализ того, как организации оценивают усвоение знаний и навыков после проведения тренингов.

Структура исследования и процесс проведения

Исследование было проведено в марте-апреле 2024 года. В ходе исследования была собрана информация о методах оценки знаний и навыков, использовании тестов и производственных оценок, а также о демографических характеристиках компаний. Различия между группами респондентов исследовались с использованием статистически значимых критериев (p < 0.05), что означает, что вероятность случайности составляет менее 5%.

Основные выводы исследования

1. Большинство используют оценки в обучении

• 92% опрошенных организаций используют оценки как часть своих учебных программ. В большинстве случаев это сочетание тестов и производственных оценок.
• Пример. Организации используют сценарии, где сотрудники выполняют задачи, схожие с их ежедневными обязанностями, например, выполнение ремонта оборудования или обработка запросов клиентов.

2. Производственные оценки считаются наиболее эффективными

• 76% специалистов по развитию талантов считают, что производственные оценки лучше измеряют реальные результаты обучения, чем тесты. Этот вид оценки позволяет наблюдать за тем, как сотрудники применяют полученные знания в реальных рабочих условиях.
• Пример. Производственная оценка специалиста по продажам может включать наблюдение за его реальными сделками с клиентами, где оценивается применение навыков убеждения, ведения переговоров и закрытия сделки.

3. Тесты оцениваются как менее эффективные

• Только 58% респондентов считают тестовые задания достаточно точным инструментом для измерения знаний. Чаще всего тесты используются для проверки фактических знаний, а не навыков применения этих знаний.
• Пример. Обычный тест на знание компании может включать вопросы типа: «Сколько сотрудников работает в компании?» или «Какие цели обозначены в нашей стратегии на 2024 год?», но эти вопросы не измеряют способность сотрудника применять эти знания на практике.

4. Типы используемых тестов

• Наиболее распространенными типами тестовых заданий являются вопросы с одним правильным ответом (single-select), множественный выбор (multiple-choice) и утверждения, которые необходимо отметить как «верно/неверно» (true/false). Эти методы тестирования широко используются из-за их простоты в создании и оценке.
• Пример. Вопросы типа «Какая техника используется для управления проектами? A) Scrum; B) Kanban; C) Lean» позволяют быстро оценить базовые знания, но не дают возможности проверить навыки управления проектом на практике.

5. Оценки чаще применяются для проверки базовых навыков

• Оценочные процедуры наиболее часто используются для проверки базовых знаний или для выполнения требований по соблюдению нормативных стандартов. Если сотрудники не проходят тест с первой попытки, им обычно предоставляется возможность повторно пройти обучение или пересдать тест.
• Пример. На предприятии по производству продуктов питания регулярные тесты проводятся для оценки знаний сотрудников о правилах безопасности пищевой продукции. Если сотрудник не сдал экзамен, его направляют на повторное обучение.

6. Кто создает оценки

• 73% организаций поручают разработку оценок внутренним специалистам по обучению. Некоторым компаниям удается сэкономить время и ресурсы, привлекая внешних специалистов или покупая уже готовые валидированные тесты.
• Пример. В крупной IT-компании могут быть выделены специализированные команды внутри отдела по обучению для создания тестов на знание программирования, в то время как небольшая компания может обратиться к внешним экспертам для разработки подобных тестов.

7. Повторные попытки

• Сотрудники, не сдавшие тесты с первой попытки, чаще всего получают возможность пересдать их. Такой подход дает возможность сотрудникам усвоить материалы лучше и минимизировать стресс, связанный с единственной попыткой прохождения экзамена.
• Пример. Для медицинских сотрудников может требоваться регулярное тестирование на знание процедур по оказанию первой помощи. Если сотрудник не сдал экзамен, он может пройти повторное обучение.

Рекомендации по улучшению оценок

По результатам анализа исследования можно выделить следующие рекомендации по повышению эффективности оценок в обучении. 

1. Разграничение производственных и тестовых оценок

Если целью является оценка практического выполнения задач, лучше использовать производственные оценки. Тесты больше подходят для проверки знаний и запоминания информации.

Пример. Для оценки навыков по обслуживанию клиентов можно организовать оценку производительности, где сотрудник должен обработать жалобу клиента в реальной ситуации, а для проверки знаний стандартов обслуживания — тест на знание правил.

2. Следуйте лучшим практикам в использовании производственных оценок

Важно стандартизировать критерии оценки, особенно если производственные оценки влияют на кадровые решения. Необходимо привлекать специалистов из HR отдела для корректного применения производственных оценок.

Пример. В оценке работы сотрудников на производстве могут быть установлены четкие критерии, такие как точность выполнения операций, время выполнения задачи и соблюдение стандартов безопасности.

3. Использование правильно сформулированных учебных целей для тестов

Вопросы тестов должны четко соответствовать поставленным учебным целям. Важно проверять тесты с экспертами для корректировки вопросов, которые вызывают трудности у большинства сотрудников.

Пример. Если цель курса — обучение финансовой грамотности, тестовые задания должны оценивать конкретные знания, такие как «Какие инструменты используются для составления бюджета?» или «Как рассчитать процентную ставку по кредиту?». Вопросы должны быть согласованы с экспертами финансового отдела.

4. Проверка тестов на валидность и надежность

Все тесты должны пройти пилотные испытания, чтобы убедиться в их эффективности. Необходимо использовать статистические методы для проверки надежности результатов.

Пример. Перед внедрением нового теста для программистов организация может провести пилотное тестирование на небольшой группе сотрудников, чтобы убедиться в корректности вопросов и в отсутствии двусмысленных формулировок.

5. Определение ответственности за разработку тестов

Необходимо четко определить, кто в организации будет ответственным за создание и разработку тестов и оценок. Это могут быть как внутренние специалисты по развитию талантов, так и внешние консультанты. Также возможно использование готовых тестов, которые уже валидированы.

Пример. В компании по производству автомобилей внутренние специалисты по обучению могут разрабатывать тесты для производственных работников, в то время как для менеджеров могут использоваться готовые решения по оценке управленческих навыков.

6. Гарантия надежности и валидности тестов

Важно провести пилотное тестирование всех вопросов теста для того, чтобы гарантировать, что они точно измеряют знания или навыки, которые требуется оценить. Кроме того, тесты должны быть проверены экспертами, чтобы убедиться в их корректности.

Пример. В медицинской компании вопросы теста на знание новых методик лечения должны быть тщательно проверены специалистами, чтобы исключить двусмысленность и гарантировать, что тестовые вопросы точно соответствуют учебной программе.

Демографические данные исследования

1. Размер организаций

• Участники исследования представляли организации разных размеров. 55% респондентов работали в компаниях среднего размера (100-2499 сотрудников), 14% — в малых компаниях (1-99 сотрудников), 19% — в очень крупных (10 000 и более сотрудников), а 12% — в крупных (2 500-9 999 сотрудников).

2. Типы работы

Опрос показал, что 53% сотрудников работают в основном в офисе, 39% — в гибридном режиме, а 8% — преимущественно удаленно.

3. Отрасли

Респонденты работали в разных отраслях, таких как здравоохранение (18%), образование (14%), финансы (10%), производство (8%) и другие.

4.  Распределение по регионам

Большинство респондентов (90%) работали в США, остальные представляли регионы Европы, Азии и Африки.

Заключение

По результатам данного исследования можно сделать следующие выводы:

1. Большинство организаций активно используют оценки для проверки знаний и навыков сотрудников, однако существует разница в эффективности разных методов

2. Производственные оценки оказались более точными и эффективными для измерения навыков

3. В то время как тестовые задания часто используются для проверки базовых знаний

4.  Исследование предоставляет важные рекомендации для организаций, которые стремятся улучшить свои процессы оценки

5.  Для тех, кто только начинает внедрять систему оценок, отчет содержит советы по созданию эффективных тестов и проведению производственных оценок, а также подчеркивает важность проверки тестов на надежность и валидность

6. Внедрение лучших практик, таких как стандартизация методов оценки и использование экспертов для разработки тестов, может значительно повысить точность и объективность результатов.