Истории

Сервис психологической помощи из США использовал GPT-3, не уведомив пользователей

Истории
Дарья Сидорова
Дарья Сидорова

Редактор отдела «Истории».

Дарья Сидорова

Сервис психологических консультаций Koko провел эксперимент с использованием ИИ — вместо сообщений от волонтеров пользователи получали послания, сгенерированные GPT-3. Как рассказал основатель компании Роб Моррис, такие советы получили 4 тысячи человек. Эксперимент вызвал бурную критику, поскольку потенциально мог быть опасен для его участников, которые к тому же не давали информированного согласия.

Сервис психологической помощи из США использовал GPT-3, не уведомив пользователей

Koko — некоммерческая платформа, объединяющая подростков и взрослых, нуждающихся в психиатрической помощи, с волонтерами через такие сервисы, как Telegram и Discord.

На сервере Koko Cares в Discord пользователи отправляют сообщения боту Koko, который задает им несколько вопросов с вариантами ответов. Например, «Какая самая мрачная мысль посещала вас по этому поводу?». Затем бот генерирует несколько предложений с описанием проблемы, и направляет их другому пользователю на сервере, который может анонимно написать короткий ответ.

Заставь искусственный интеллект самообучаться и совершенствоваться – выбирай онлайн-курсы в каталоге курсов по машинному обучению.

В рамках эксперимента волонтеры, оказывающие помощь, получили возможность не писать ответ самостоятельно, а использовать тот, что автоматически сгенерирован языковой моделью GPT-3 от OpenAI. GPT-3 — это технология, лежащая в основе чат-бота ChatGPT, ставшего популярным в последнее время. По словам Морриса, в рамках эксперимента ИИ «ответил» примерно на 30 тысяч сообщений.


Читайте по теме:

OpenAI: создатель Chat GPT и потенциальная «угроза для человечества»


В своем треде в Twitter Моррис рассказывает, что люди высоко оценивали такие ответы, пока не узнали, каким образом они были написаны. Это говорит о том, что пользователи не давали согласия на проведение эксперимента ни на одном из его этапов.

При этом описание сервера Koko Cares гласит: «Koko связывает вас с реальными людьми, которые по-настоящему вас понимают. Не с психотерапевтами и не с консультантами, а просто с такими же людьми, как и вы».

Вскоре после публикации треда в Twitter эксперимент подвергся критике. Комментаторы назвали его неэтичным, указали на отсутствие информированного согласия и задались вопросом, одобрен ли он Институциональным наблюдательным советом (Institutional Review Board, IRB). В США считается незаконным проводить исследования на людях без юридически действительного согласия, если только IRB не сочтет его необязательным.

Моррис ответил, что эксперимент «не подпадает» под эти требования, поскольку он не планировал публиковать результаты. Это вызвало новый поток комментариев. Один из пользователей напомнил, что такие решения должен принимать не Моррис, а IRB, и посоветовал ему нанять адвоката.

ИИ далеко не впервые используется в качестве психотерапевта. Однако обычно пациенты знают, что разговаривают не с реальным человеком. 

Koko использовала гибридный подход, при котором человек-посредник мог просматривать сообщения перед отправкой. Тем не менее критики утверждают, что из-за отсутствия информированного согласия Koko нарушила этические правила, защищающие уязвимых лиц от вредных и оскорбительных исследовательских практик.

9 января Моррис поделился публикацией, в которой рассказал о движении Koko в сторону GPT-3 и ИИ в целом. Он написал, что Koko «разделяет заинтересованность в том, чтобы любой случай применения ИИ проходил с осторожностью», а также сообщил, что клинический консультативный совет компании обсуждает руководящие принципы для дальнейшей работы, особенно касательно одобрения от IRB.

Источник.

Фото на обложке: Bas Nastassia / Shutterstock

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 Заменит ли нейросеть копирайтеров?
  2. 2 Школьники создали NLP-модель, которая при генерации текстов учитывает здравый смысл
  3. 3 Какие перспективы у стартапов на базе нейросетей GPT-3
  4. 4 Стартер-пак для бизнеса: зачем нужен GPT-3 и какие навыки потребуются для работы с этой нейросетью
  5. 5 «Сейчас идет демократизация AI-технологий»: управляющий директор Sber AI о кейсах применения искусственного интеллекта
Relocation Map
Интерактивный гид по сервисам и компаниям, связанным с релокацией
Перейти