Истории

Почему чат-боты выдумывают факты и как с этим бороться

Истории
Дарья Сидорова
Дарья Сидорова

Редактор отдела «Истории».

Дарья Сидорова

Недавно американского адвоката привлекли к ответственности за то, что он использовал в суде цитаты из несуществующих дел — их ему предоставил ChatGPT. При этом, по словам адвоката, бот заверял, что эти дела все-таки реальны.

Это не уникальный случай — нейросети склонны к галлюцинациям, то есть выдумыванию и искажению фактов. Рассказываем, почему это происходит.

Почему чат-боты выдумывают факты и как с этим бороться
Присоединиться

Галлюцинации ИИ возникают, когда он выдает ответ, который максимально близок к истине по имеющимся у него данным. Это происходит довольно часто.

«Галлюцинации начинаются, когда есть пробел в знаниях, и система выбирает наиболее статистически верную информацию», — рассказывает Пьер Харен, CEO и фаундер Causality Link.

Заставь искусственный интеллект самообучаться и совершенствоваться – выбирай онлайн-курсы в каталоге курсов по машинному обучению.

Причины могут быть разными, но чаще всего это происходит, если бот обучался на относительно небольшой выборке и его не научили говорить, что он не знает ответа.

По словам Харена, ИИ «говорит то, что сильно отличается от реальности», но не знает об этом (и, соответственно, не лжет). «Возникает вопрос: в чем правда для мозга ChatGPT? Есть ли способ, с помощью которого система узнает, что отклоняется от истины?», — размышляет он.

Арвинд Джейн, CEO Glean, отмечает: важно помнить о том, что наиболее вероятный ответ не всегда является правильным.

К чему это может привести?

Во-первых, к распространению дезинформации, поскольку такие ответы кажутся реалистичными, хотя являются ложными.

Кроме того, может возникнуть эффект домино, если бот предоставляет неверную информацию по теме, которая несет за собой высокие риски. Поэтому эксперты рекомендует не использовать технологию, когда ошибки недопустимы.

«Думаю, сейчас создатели больших языковых моделей не обрадуются, если с помощью их системы кто-то будет управлять атомной электростанцией», — говорит Харен.


Читайте по теме:

Для обучения ИИ используют продукты интеллектуальной собственности. Законно ли это?

«Robotник» копирайтера: какие задачи можно доверить ChatGPT, а что лучше сделать самому


Однако бот может быть ненадежен и в других ситуациях. Так, если организация задействует предоставленную им дезинформацию в рекламной кампании, то рискует своей репутацией. Проблемы также могут возникнуть, если ИИ дает неправильный финансовый совет.

В целом, галлюцинации ИИ показывают, что технологию необходимо разрабатывать и развертывать ответственно, учитывая вопросы, связанные с этикой и безопасностью.

Какие меры можно предпринять?

«Как убедиться, что этот ответ верен? — говорит Клифф Юркевич, вице-президент по стратегии Phenom. — Этот вопрос остается за людьми. Но сейчас технологические компании вводят гарантии, чтобы прозрачно объяснить эти отношения».

Если замедлить развитие ИИ, можно принять меры, которые помогут использовать технологию безопасно. Джейн считает, что это особенно важно, поскольку когда модель выдает правильные ответы в большинстве случаев, люди начинают верить ей всегда.

«Когда модели правы, люди им доверяют, — говорит Джейн. — В этом и проблема ИИ. Как сделать так, чтобы люди не были слишком доверчивы?».

Первый шаг — сделать так, чтобы модели предоставляли источники, из которых взяли информацию.

Юркевич рассказывает: «Мой 7-летний ребенок может быстро справиться с задачей по математике, но ему нужно показать процесс решения. Откуда такой результат? Генеративный ИИ не должен стать исключением. Мы должны применять к нему те же стандарты, что и к людям».

По мнению экспертов, хороший девиз — доверять и проверять. Отсутствие второго может привести к распространению дезинформации.

«Если мы не будем проверять, то допустим нечто вроде эффекта Манделы, — говорит Юркевич. — Это будет казаться правдой, просто потому что никто не проверил, и все это говорят и повторяют».

Другой способ — попросить ИИ сообщать, когда он не знает ответа. По словам Смита, большие языковые модели стараются предоставить хоть какой-то результат, поскольку в противном случае не получают баллы. 

«Нужно четко указать, что отсутствие ответа приемлемо, если информация не найдена в обучающих данных и в предоставленном контексте», — говорит Смит.

Кроме того, должна быть возможность сообщать о галлюцинациях и ошибках. Такой механизм реализован в ChatGPT: пользователь может поставить «палец вниз» рядом с ответом и написать, как его улучшить.

Источник.

Обложка сгенерирована нейросетью Midjourney

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 За год количество судебных разбирательств вокруг ИИ выросло на 60%
  2. 2 Target Global и другие инвестировали $42 млн в ИИ-стартап Robovision
  3. 3 «Яндекс» начал выявлять фишинговые сайты с помощью ИИ
  4. 4 ИИ научился улучшать вкус пива с учетом предпочтений потребителей
  5. 5 «Яндекс» представил третье поколение YandexGPT для решения задач в сфере IT
FutureFood
Кто производит «альтернативную» еду
Карта