52% ответов ChatGPT по программированию неверны — исследование
В последние годы программисты стали чаще обращаться за помощью к чат-ботам, таким как ChatGPT от OpenAI. Это нанесло удар по Q&A-сервису Stack Overflow, который в прошлом году был вынужден уволить почти 30% персонала.
Однако, согласно исследованию Университета Пердью, представленному на конференции Computer-Human Interaction, ChatGPT — не самый лучший помощник. Выяснилось, что более половины его ответов по программированию неверны.
Ученые взяли более 517 вопросов со Stack Overflow, задали их ChatGPT и проанализировали его ответы. Вот что они обнаружили.
- 52% ответов содержат дезинформацию.
- 77% более многословны по сравнению с человеческими ответами.
- 78% в той или иной степени не соответствуют человеческим ответам.
Исследователи также опросили 12 программистов и выяснили, что те предпочитают ChatGPT в 35% случаев и не замечают ошибок в его ответах в 39% случаев. Возможная причина — стиль общения чат-бота.
В результате лингвистического анализа 2 тыс. случайно выбранных ответов ChatGPT выяснилось, что они «более формальные и аналитические», а также отражают «менее негативные настроения».
Читайте по теме:
92% владельцев компаний положительно оценивают применение ИИ для выполнения рабочих задач
Почему чат-боты выдумывают факты и как с этим бороться
«Последующие полуструктурированные интервью показали, что вежливый язык, четко сформулированные ответы как из учебников, а также полнота — одни из основных причин, по которым ответы ChatGPT кажутся более убедительными, поэтому участники ослабили бдительность и упустили из виду дезинформацию», — пишут исследователи.
Результаты показывают, что у ChatGPT по-прежнему есть серьезные недостатки. Однако это слабое утешение для людей, уволенных из Stack Overflow, а также программистов, которым приходится исправлять в коде ошибки, сделанные ИИ.
Фото на обложке: wutzkohphoto /
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Популярное
Материалы по теме
-
Пройти курс «Регистрация бизнеса: самозанятoсть, ИП или ООО»
- 1 OpenAI: использование ChatGPT усиливает чувство одиночества И снижает социализацию 24 марта 17:46
- 2 «Сбер» выпустил обновленную линейку моделей ИИ GigaChat 2.0 В компании утверждают, что модель является сильнейшим русскоязычным ИИ 13 марта 17:00
- 3 Что такое эмбеддинги и как они работают? Технологии могут анализировать тональность и эмоции в текстах 13 марта 15:19
- 4 Perplexity начал разработку первого «ИИ-смартфона» Он будет стоить до $1 тыс. 03 марта 20:19