Почему чат-боты выдумывают факты и как с этим бороться

Галлюцинации ИИ возникают, когда он выдает ответ, который максимально близок к истине по имеющимся у него данным. Это происходит довольно часто.

«Галлюцинации начинаются, когда есть пробел в знаниях, и система выбирает наиболее статистически верную информацию», — рассказывает Пьер Харен, CEO и фаундер Causality Link.

Причины могут быть разными, но чаще всего это происходит, если бот обучался на относительно небольшой выборке и его не научили говорить, что он не знает ответа.

По словам Харена, ИИ «говорит то, что сильно отличается от реальности», но не знает об этом (и, соответственно, не лжет). «Возникает вопрос: в чем правда для мозга ChatGPT? Есть ли способ, с помощью которого система узнает, что отклоняется от истины?», — размышляет он.

Арвинд Джейн, CEO Glean, отмечает: важно помнить о том, что наиболее вероятный ответ не всегда является правильным.

К чему это может привести?

Во-первых, к распространению дезинформации, поскольку такие ответы кажутся реалистичными, хотя являются ложными.

Кроме того, может возникнуть эффект домино, если бот предоставляет неверную информацию по теме, которая несет за собой высокие риски. Поэтому эксперты рекомендует не использовать технологию, когда ошибки недопустимы.

«Думаю, сейчас создатели больших языковых моделей не обрадуются, если с помощью их системы кто-то будет управлять атомной электростанцией», — говорит Харен.

Читайте по теме:

Для обучения ИИ используют продукты интеллектуальной собственности. Законно ли это?

«Robotник» копирайтера: какие задачи можно доверить ChatGPT, а что лучше сделать самому

Однако бот может быть ненадежен и в других ситуациях. Так, если организация задействует предоставленную им дезинформацию в рекламной кампании, то рискует своей репутацией. Проблемы также могут возникнуть, если ИИ дает неправильный финансовый совет.

В целом, галлюцинации ИИ показывают, что технологию необходимо разрабатывать и развертывать ответственно, учитывая вопросы, связанные с этикой и безопасностью.

Какие меры можно предпринять?

«Как убедиться, что этот ответ верен? — говорит Клифф Юркевич, вице-президент по стратегии Phenom. — Этот вопрос остается за людьми. Но сейчас технологические компании вводят гарантии, чтобы прозрачно объяснить эти отношения».

Если замедлить развитие ИИ, можно принять меры, которые помогут использовать технологию безопасно. Джейн считает, что это особенно важно, поскольку когда модель выдает правильные ответы в большинстве случаев, люди начинают верить ей всегда.

Первый шаг — сделать так, чтобы модели предоставляли источники, из которых взяли информацию.

Юркевич рассказывает: «Мой 7-летний ребенок может быстро справиться с задачей по математике, но ему нужно показать процесс решения. Откуда такой результат? Генеративный ИИ не должен стать исключением. Мы должны применять к нему те же стандарты, что и к людям».

По мнению экспертов, хороший девиз — доверять и проверять. Отсутствие второго может привести к распространению дезинформации.

«Если мы не будем проверять, то допустим нечто вроде эффекта Манделы, — говорит Юркевич. — Это будет казаться правдой, просто потому что никто не проверил, и все это говорят и повторяют».

Другой способ — попросить ИИ сообщать, когда он не знает ответа. По словам Смита, большие языковые модели стараются предоставить хоть какой-то результат, поскольку в противном случае не получают баллы.

«Нужно четко указать, что отсутствие ответа приемлемо, если информация не найдена в обучающих данных и в предоставленном контексте», — говорит Смит.

Кроме того, должна быть возможность сообщать о галлюцинациях и ошибках. Такой механизм реализован в ChatGPT: пользователь может поставить «палец вниз» рядом с ответом и написать, как его улучшить.

Источник.

Обложка сгенерирована нейросетью Midjourney