Точность ответов ChatGPT-4 за несколько месяцев упала с 97% до 2,4% — исследование

Ученые обнаружили, что если в марте текущего года ChatGPT-4 решал математические задачи с точностью в 97,6%, то к июню цифра критически снизилась до 2,4%.

При этом корректность ответов предыдущей версии GPT-3.5 лишь растет. Если в марте точность математических расчетов составляла 7,4%, то в июне она возросла до 86,8%.

Помимо математических вычислений ученые проанализировали динамику точности работы AI-моделей в области генерации кода, визуального мышления и с точки зрения ответов на деликатные или опасные вопросы.

Изменились показатели GPT-4 при ответах на опасные вопросы, в июне бот предоставил меньше ответов, чем в марте. При этом обе версии в июне перестали разъяснять, почему не могут ответить на тот или иной вопрос. Еще в марте пользователи получали развернутое разъяснение.

Кроме того, увеличилось число ошибок при генерации программного кода. Если в марте GPT-4 выполнял 50% из 50 поставленных задач, то в июне смог реализовать только 10%. Аналогичная тенденция отмечается и в версии GPT-3.5.

Одно из возможных объяснений состоит в том, что июньские версии постоянно добавляли в свои генерации дополнительный текст, не относящийся к коду.

В июле OpenAI, разработавшая ChatGPT, предоставила доступ к API последней версии языковой модели GPT-4. Саму версию компания разработала еще в марте.

Фото на обложке: Caprieleeeh / Shutterstock