Новости / Россия

YandexGPT 2 сдала ЕГЭ по литературе и приблизилась к среднему баллу российских школьников

Усредненная оценка составила 55 баллов по итогам сдачи нескольких вариантов

12 октября 2023, 17:02

YandexGPT 2 сдала ЕГЭ по литературе и приблизилась к среднему баллу российских школьников

Языковая модель YandexGPT 2 решила несколько вариантов ЕГЭ по литературе. Нейросеть приблизились к среднему баллу по этому предмету среди российских школьников (составлял 64 по итогам 2022 года), говорится в сообщении «Яндекса».

Усредненная оценка YandexGPT 2 составила 55 баллов. Таким образом, нейросеть преодолела минимальный порог, который необходим для поступления в вуз, — 40 баллов.

Отмечается, что это первый случай в России, когда генеративная нейросеть сдала единый госэкзамен, выполнив все его задания, включая творческое.

Сочинение YandexCPT 2

В «Яндексе» добавили, что пройти ЕГЭ по литературе — сложная задача для нейросети, так как знания проверяются сразу с нескольких сторон: есть задания для оценки эрудиции, стиля письма и творческих способностей.

«Стандартным тестом для оценки эрудиции языковых моделей в мире считается MMLU: он включает вопросы разной степени сложности из 57 областей знания. Так можно объективно сравнить несколько нейросетей, но нельзя оценить качество их ответов на открытые или творческие вопросы. Именно поэтому мы предложили YandexGPT 2 сдать ЕГЭ по литературе», — пояснил технический директор «Поиска» «Яндекса» Алексей Гусаков.

Для эксперимента специалисты «Яндекса» получили варианты ЕГЭ по литературе, которые были использованы при проведении тренировочных экзаменов в 2021–2023 годах, и убедились, что применявшаяся для обучения YandexGPT база данных не содержит ответов на них.

«Яндекс» представил YandexGPT 2 в начале сентября. Это улучшенная версия нейросети YandexGPT — она способна решать больше различных типов задач, также было улучшено качество ее ответов.

Изображение: «Яндекс»

Авторы