52% ответов ChatGPT по программированию неверны — исследование

Ученые взяли более 517 вопросов со Stack Overflow, задали их ChatGPT и проанализировали его ответы. Вот что они обнаружили.

• 52% ответов содержат дезинформацию.
• 77% более многословны по сравнению с человеческими ответами.
• 78% в той или иной степени не соответствуют человеческим ответам.

Исследователи также опросили 12 программистов и выяснили, что те предпочитают ChatGPT в 35% случаев и не замечают ошибок в его ответах в 39% случаев. Возможная причина — стиль общения чат-бота.

В результате лингвистического анализа 2 тыс. случайно выбранных ответов ChatGPT выяснилось, что они «более формальные и аналитические», а также отражают «менее негативные настроения».

Читайте по теме:

92% владельцев компаний положительно оценивают применение ИИ для выполнения рабочих задач

Почему чат-боты выдумывают факты и как с этим бороться

«Последующие полуструктурированные интервью показали, что вежливый язык, четко сформулированные ответы как из учебников, а также полнота — одни из основных причин, по которым ответы ChatGPT кажутся более убедительными, поэтому участники ослабили бдительность и упустили из виду дезинформацию», — пишут исследователи.

Результаты показывают, что у ChatGPT по-прежнему есть серьезные недостатки. Однако это слабое утешение для людей, уволенных из Stack Overflow, а также программистов, которым приходится исправлять в коде ошибки, сделанные ИИ.

Источник.

Фото на обложке: wutzkohphoto / Shutterstock