Команда исследователей из Стэнфордского университета и Калифорнийского университета в Беркли выяснила, что точность ответов платной версии ChatGPT стремительно упала.
Ученые обнаружили, что если в марте текущего года ChatGPT-4 решал математические задачи с точностью в 97,6%, то к июню цифра критически снизилась до 2,4%.
При этом корректность ответов предыдущей версии GPT-3.5 лишь растет. Если в марте точность математических расчетов составляла 7,4%, то в июне она возросла до 86,8%.
Помимо математических вычислений ученые проанализировали динамику точности работы AI-моделей в области генерации кода, визуального мышления и с точки зрения ответов на деликатные или опасные вопросы.
Изменились показатели GPT-4 при ответах на опасные вопросы, в июне бот предоставил меньше ответов, чем в марте. При этом обе версии в июне перестали разъяснять, почему не могут ответить на тот или иной вопрос. Еще в марте пользователи получали развернутое разъяснение.
Кроме того, увеличилось число ошибок при генерации программного кода. Если в марте GPT-4 выполнял 50% из 50 поставленных задач, то в июне смог реализовать только 10%. Аналогичная тенденция отмечается и в версии GPT-3.5.
Одно из возможных объяснений состоит в том, что июньские версии постоянно добавляли в свои генерации дополнительный текст, не относящийся к коду.
В июле OpenAI, разработавшая ChatGPT, предоставила доступ к API последней версии языковой модели GPT-4. Саму версию компания разработала еще в марте.
Фото на обложке: Caprieleeeh /
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
- 1 Все, что вы хотели знать про судьбоносный для Generative AI судебный иск
- 2 Что будет с поисковыми системами через 5 лет и как seo-специалистам справиться с переменами
- 3 Искусственный интеллект vs SEO: кто кого?
- 4 Нейросеть ChatGPT: новый бесплатный чат-бот с искусственным интеллектом
- 5 Копирайтер VS нейросеть: пишем текст и теряем заказчиков
ВОЗМОЖНОСТИ
10 мая 2024
13 мая 2024