Языковая модель YandexGPT 2 решила несколько вариантов ЕГЭ по литературе. Нейросеть приблизились к среднему баллу по этому предмету среди российских школьников (составлял 64 по итогам 2022 года), говорится в сообщении «Яндекса».
Усредненная оценка YandexGPT 2 составила 55 баллов. Таким образом, нейросеть преодолела минимальный порог, который необходим для поступления в вуз, — 40 баллов.
Отмечается, что это первый случай в России, когда генеративная нейросеть сдала единый госэкзамен, выполнив все его задания, включая творческое.
Сочинение YandexCPT 2
В «Яндексе» добавили, что пройти ЕГЭ по литературе — сложная задача для нейросети, так как знания проверяются сразу с нескольких сторон: есть задания для оценки эрудиции, стиля письма и творческих способностей.
«Стандартным тестом для оценки эрудиции языковых моделей в мире считается MMLU: он включает вопросы разной степени сложности из 57 областей знания. Так можно объективно сравнить несколько нейросетей, но нельзя оценить качество их ответов на открытые или творческие вопросы. Именно поэтому мы предложили YandexGPT 2 сдать ЕГЭ по литературе», — пояснил технический директор «Поиска» «Яндекса» Алексей Гусаков.
Для эксперимента специалисты «Яндекса» получили варианты ЕГЭ по литературе, которые были использованы при проведении тренировочных экзаменов в 2021–2023 годах, и убедились, что применявшаяся для обучения YandexGPT база данных не содержит ответов на них.
«Яндекс» представил YandexGPT 2 в начале сентября. Это улучшенная версия нейросети YandexGPT — она способна решать больше различных типов задач, также было улучшено качество ее ответов.
Изображение: «Яндекс»
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
- 1 «Яндекс» внедрил ответы от генеративных нейросетей в «Поиск»
- 2 «Авто.ру» внедрил ИИ для создания краткого пересказа истории владения автомобилем
- 3 В «Яндекс Браузере» появился текстовый редактор на базе нейросети YandexGPT
- 4 Студенты ВШЭ впервые защитили дипломы, написанные с использованием YandexGPT
- 5 «Яндекс» открыл доступ к своей библиотеке YaFSDP
ВОЗМОЖНОСТИ
10 октября 2024
10 октября 2024
11 октября 2024