Измеряем эффективность обучения: государство vs Edtech

Как оценивается эффективность государственного образования?

Финансирование государственного образования бывает двух типов — бюджетное и внебюджетное. У государственных учреждений получение прибыли — цель не первичная, но современные университеты рассматривают свою деятельность как «оказание образовательных услуг». Реформа системы образования нацелена на привлечение внешних финансов — за счет бизнеса, родителей и кредитов. Считается, что спрос на платное государственное образование будет расти, поэтому следует увеличивать количество платных услуг в виде курсов, профильного обучения, преподавания дополнительных предметов и программ. Так, государственное образование вступает в серьезную конкуренцию с коммерческим. Чтобы выдерживать её, необходимо постоянно совершенствовать продукты, которое оно производит. Отследить их качество возможно прежде всего посредством метрик эффективности.

Метрики, которые использует государство для оценки эффективности вузов:

• средний балл ЕГЭ студентов очной формы обучения;
• численность иностранных студентов;
• численность обучающихся по программам магистратуры, аспирантуры, ординатуры, интернатуры, ассистентуры-стажировки;
• темп прироста доходов от научно-исследовательских и опытно-конструкторских работ;
• темп прироста поступлений из средств от приносящей доход деятельности;
• число публикаций в системе Web of Science и количество их цитирований;
• качество финансового менеджмента;
• выполнение квоты по приему на работу людей с инвалидностью.

При выполнении двух из этих показателей университет уже считается эффективным. Тем не менее видно, что эти метрики лишь косвенно касаются самого продукта. Например, количество иностранных студентов не указывает напрямую на качество образования в вузе. В России «экспорт образования» происходит в страны бывшего СССР: Узбекистан, Азербайджан, Армению, Кыргызстан, Молдову. Прежде всего потому, что в России качество образования и уровень развития экономики выше, чем в этих странах. Некоторые специалисты также считают, что средний балл ЕГЭ — это метрика для оценки работы школ, а не вузов. Высокий средний проходной балл ЕГЭ в случае с вузом скорее всего объясняется престижем профессий, которым он обучает. 

Edtech: какие метрики существуют и что они дают?

Особенность коммерческого ДПО (дополнительного профессионального образования) — это ориентация на конкретные ожидания людей от образования. Государственные метрики ориентированы на оценку вуза, а метрики в Edtech оценивают поведение студентов в экосистеме и то, как они учатся. 

Метрики оценки эффективности онлайн-образования:

• COR — процент людей, завершивших обучение

 Кажется бесспорным: если человеку нравится учеба, то он стремится закончить её. Но ориентация только на количество людей, прошедших курс до конца, не дает возможности понять что-либо о самом курсе. Мы обращаем внимание на количество студентов, дошедших до третьего домашнего задания: это позволяет определить, каковы барьеры для прохождения и как их снизить.

• MAU/WAU — активные пользователи внутри экосистемы

MAU/WAU — показатель, указывающий на количество активных пользователей внутри платформы. Если большое количество людей перестает выполнять домашнее задание, вывод следующий: либо программа сложна, либо сложность распределена неравномерно. WAU помогает увидеть правильность организации внутри образовательного процесса. Больше активных пользователей — больше людей, которые закончат. 

Если студенты смотрят уроки и выполняют домашние задания — значит, курс правильно организован с точки зрения сложности. Это еще не означает, что у них есть полная мотивация дойти до конца — но есть некоторое намерение относительно окончания. Если последовательность по сложности соблюдается, то человек выполняет домашнее задание. Что для нас важно: мы понимаем — курс построен грамотно. 

• Скорость проверки домашнего задания для асинхронного формата

Важно дать скорый приток обратной связи студенту после просмотра урока и выполнения домашнего задания, чтобы не упустить любопытство с его стороны. Это очень важная метрика, поскольку позволяет сохранять нужный темп и интервальность обучения. В случае Skillbox 91,5% домашних заданий проверяются за 24 часа.

• NPS — индекс лояльности пользователей

Эта метрика показывает, готовы ли пользователи рекомендовать вас. Это субъективный показатель, который работает только на большой статистике. Как правило, на оценку влияют четыре фактора: 1) как преподаватель преподносит материал; 2) насколько аудитории нравится преподаватель; 3) как компания выполнила свою работу: съемка, монтаж, дизайн; 4) как работает платформа обучения. Зная это, мы также можем анализировать и совершенствовать качество курсов экосистемы.

• СSAT — показатель удовлетворенности пользователей

Инструмент используется для того, чтобы измерить степень удовлетворенности пользователей платформы от конкретных событий или от взаимодействия со всем продуктом. Удовлетворение — фактор, влияющий на то, чтобы студенты совершали какое-либо целевое действие и, как следствие, на продолжение обучения. Измеряется удовлетворение при помощи оценки скорости проверки домашнего задания и взаимодействия с преподавателем, содержания и качества видео и текстов, вопросов в тесте и их количества.

Большинство людей идут учиться в вузы или получать дополнительное образование, чтобы трудоустроиться — для этого необходимо обучиться компетенциям, применяемым в профессии. Edtech-компании во многом благодаря метрикам эффективности могут с большей вероятностью гарантировать трудоустройство выпускникам, поскольку у них есть представление о том, как образовательный продукт работает, как он усваивается. Метрики могут указать на ошибки и становятся средством постоянного совершенствования программ обучения. Именно от этого зависит результат образования, а именно: начнет ли человек работать?

Но здесь тоже существуют проблемы: с одной стороны, довольно трудно измерить дальнейшую траекторию выпускников, а с другой стороны — часто обучающиеся дают оценку техническому продукту, без учета того, смогут ли они применить знания на практике.  Есть люди, которые устраиваются на работу, не закончив курс, а также не совсем понятно, что означает «закончить обучение»:  посмотреть все модули или защитить дипломную работу? В том числе не до конца осмыслен статус коммерческих метрик: для Edtech это, пожалуй, жизненно важная метрика. Если курс коммерчески неуспешен, он закрывается. К каким образовательным результатам это ведет? 

Почему метрики — это место встречи государства и Edtech?

Наблюдая за тем, что происходит в образовательном процессе благодаря постоянной работе с метриками, мы понимаем, что они являются важнейшим фактором гибкости образования. Почему так происходит? Метрики в Edtech обладают рядом свойств, которые дают образованию возможность быстрой реакции и трансформации:

• Промежуточность;
• Наличие наблюдателя;
• Гибкость самих метрик.

Что эти свойства дают образованию?

• Промежуточные данные позволяют лучше понимать, что происходит с образовательным продуктом и быстрее трансформировать его с опорой на них. 

• Наличие наблюдателя делает образование гибким. Нередко данные противоречат здравому смыслу, и наблюдаемость этого может привести к новым гипотезам. Наблюдаем за собой — следовательно, меняемся. Не наблюдаем — как правило, не понимаем, как и в какую сторону меняться. 

• Метрики, не ориентированные на получение конечного результата, легче поддаются трансформации: в любой момент можно заметить, что метрика плохо работает и изменить ее. 

Процесс измерения должен быть переосмыслен: с точки зрения промежуточности данных и гибкости самих метрик. Компаниям нужно ориентироваться не на простое получение результата для отчетности, а на способность быть более чувствительными к краткосрочным результатам. Стоит уделять особое внимание NPS, поскольку именно благодаря ему можно трансформировать продукт в соответствии с целями компании.

Фото на обложке: pixabay.com