52% ответов ChatGPT по программированию неверны — исследование
В последние годы программисты стали чаще обращаться за помощью к чат-ботам, таким как ChatGPT от OpenAI. Это нанесло удар по Q&A-сервису Stack Overflow, который в прошлом году был вынужден уволить почти 30% персонала.
Однако, согласно исследованию Университета Пердью, представленному на конференции Computer-Human Interaction, ChatGPT — не самый лучший помощник. Выяснилось, что более половины его ответов по программированию неверны.
Ученые взяли более 517 вопросов со Stack Overflow, задали их ChatGPT и проанализировали его ответы. Вот что они обнаружили.
- 52% ответов содержат дезинформацию.
- 77% более многословны по сравнению с человеческими ответами.
- 78% в той или иной степени не соответствуют человеческим ответам.
Исследователи также опросили 12 программистов и выяснили, что те предпочитают ChatGPT в 35% случаев и не замечают ошибок в его ответах в 39% случаев. Возможная причина — стиль общения чат-бота.
В результате лингвистического анализа 2 тыс. случайно выбранных ответов ChatGPT выяснилось, что они «более формальные и аналитические», а также отражают «менее негативные настроения».
Читайте по теме:
92% владельцев компаний положительно оценивают применение ИИ для выполнения рабочих задач
Почему чат-боты выдумывают факты и как с этим бороться
«Последующие полуструктурированные интервью показали, что вежливый язык, четко сформулированные ответы как из учебников, а также полнота — одни из основных причин, по которым ответы ChatGPT кажутся более убедительными, поэтому участники ослабили бдительность и упустили из виду дезинформацию», — пишут исследователи.
Результаты показывают, что у ChatGPT по-прежнему есть серьезные недостатки. Однако это слабое утешение для людей, уволенных из Stack Overflow, а также программистов, которым приходится исправлять в коде ошибки, сделанные ИИ.
Фото на обложке: wutzkohphoto /
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Популярное
Налог на прибыль организаций
Материалы по теме
-
Пройти курс «Где взять деньги на бизнес»
- 1 Лучшие детекторы AI и GPT для проверки текста на ИИ Для тех, кто не уверен в оригинальности контента 03 апреля 10:12
- 2 Популярность ChatGPT побила рекорды благодаря фильтру в стиле Хаяо Миядзаки Среднее количество еженедельных активных пользователей превысило 150 млн 01 апреля 19:19
- 3 В RuStore появилась оплата рублями ChatGPT, Midjourney и других ИИ-сервисов Однако наценка составляет более 50% 30 марта 20:31
- 4 OpenAI: использование ChatGPT усиливает чувство одиночества И снижает социализацию 24 марта 17:46