Top.Mail.Ru
Истории

52% ответов ChatGPT по программированию неверны — исследование

Истории
Дарья Сидорова
Дарья Сидорова

Редактор направления «Истории»

Дарья Сидорова

В последние годы программисты стали чаще обращаться за помощью к чат-ботам, таким как ChatGPT от OpenAI. Это нанесло удар по Q&A-сервису Stack Overflow, который в прошлом году был вынужден уволить почти 30% персонала.

Однако, согласно исследованию Университета Пердью, представленному на конференции Computer-Human Interaction, ChatGPT — не самый лучший помощник. Выяснилось, что более половины его ответов по программированию неверны.

52% ответов ChatGPT по программированию неверны — исследование
  1. Истории

Ученые взяли более 517 вопросов со Stack Overflow, задали их ChatGPT и проанализировали его ответы. Вот что они обнаружили.

  • 52% ответов содержат дезинформацию.
  • 77% более многословны по сравнению с человеческими ответами.
  • 78% в той или иной степени не соответствуют человеческим ответам.

Исследователи также опросили 12 программистов и выяснили, что те предпочитают ChatGPT в 35% случаев и не замечают ошибок в его ответах в 39% случаев. Возможная причина — стиль общения чат-бота.

В результате лингвистического анализа 2 тыс. случайно выбранных ответов ChatGPT выяснилось, что они «более формальные и аналитические», а также отражают «менее негативные настроения».


Читайте по теме:

92% владельцев компаний положительно оценивают применение ИИ для выполнения рабочих задач

Почему чат-боты выдумывают факты и как с этим бороться


«Последующие полуструктурированные интервью показали, что вежливый язык, четко сформулированные ответы как из учебников, а также полнота — одни из основных причин, по которым ответы ChatGPT кажутся более убедительными, поэтому участники ослабили бдительность и упустили из виду дезинформацию», — пишут исследователи.

Результаты показывают, что у ChatGPT по-прежнему есть серьезные недостатки. Однако это слабое утешение для людей, уволенных из Stack Overflow, а также программистов, которым приходится исправлять в коде ошибки, сделанные ИИ.

Источник.

Фото на обложке: wutzkohphoto / Shutterstock

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 За кулисами Sora: как работает видеонейросеть от OpenAI
  2. 2 Навороченные и незамысловатые: как выглядят автомобили богатейших айтишников мира
  3. 3 Все, что вы хотели знать про судьбоносный для Generative AI судебный иск
  4. 4 Что будет с поисковыми системами через 5 лет и как seo-специалистам справиться с переменами
  5. 5 Искусственный интеллект vs SEO: кто кого?
FutureFood
Кто производит «альтернативную» еду
Карта