Сервис психологической помощи из США использовал GPT-3, не уведомив пользователей

Koko — некоммерческая платформа, объединяющая подростков и взрослых, нуждающихся в психиатрической помощи, с волонтерами через такие сервисы, как Telegram и Discord.

На сервере Koko Cares в Discord пользователи отправляют сообщения боту Koko, который задает им несколько вопросов с вариантами ответов. Например, «Какая самая мрачная мысль посещала вас по этому поводу?». Затем бот генерирует несколько предложений с описанием проблемы, и направляет их другому пользователю на сервере, который может анонимно написать короткий ответ.

В рамках эксперимента волонтеры, оказывающие помощь, получили возможность не писать ответ самостоятельно, а использовать тот, что автоматически сгенерирован языковой моделью GPT-3 от OpenAI. GPT-3 — это технология, лежащая в основе чат-бота ChatGPT, ставшего популярным в последнее время. По словам Морриса, в рамках эксперимента ИИ «ответил» примерно на 30 тысяч сообщений.

Читайте по теме:

OpenAI: создатель Chat GPT и потенциальная «угроза для человечества»

В своем треде в Twitter Моррис рассказывает, что люди высоко оценивали такие ответы, пока не узнали, каким образом они были написаны. Это говорит о том, что пользователи не давали согласия на проведение эксперимента ни на одном из его этапов.

При этом описание сервера Koko Cares гласит: «Koko связывает вас с реальными людьми, которые по-настоящему вас понимают. Не с психотерапевтами и не с консультантами, а просто с такими же людьми, как и вы».

Вскоре после публикации треда в Twitter эксперимент подвергся критике. Комментаторы назвали его неэтичным, указали на отсутствие информированного согласия и задались вопросом, одобрен ли он Институциональным наблюдательным советом (Institutional Review Board, IRB). В США считается незаконным проводить исследования на людях без юридически действительного согласия, если только IRB не сочтет его необязательным.

Моррис ответил, что эксперимент «не подпадает» под эти требования, поскольку он не планировал публиковать результаты. Это вызвало новый поток комментариев. Один из пользователей напомнил, что такие решения должен принимать не Моррис, а IRB, и посоветовал ему нанять адвоката.

ИИ далеко не впервые используется в качестве психотерапевта. Однако обычно пациенты знают, что разговаривают не с реальным человеком. 

Koko использовала гибридный подход, при котором человек-посредник мог просматривать сообщения перед отправкой. Тем не менее критики утверждают, что из-за отсутствия информированного согласия Koko нарушила этические правила, защищающие уязвимых лиц от вредных и оскорбительных исследовательских практик.

9 января Моррис поделился публикацией, в которой рассказал о движении Koko в сторону GPT-3 и ИИ в целом. Он написал, что Koko «разделяет заинтересованность в том, чтобы любой случай применения ИИ проходил с осторожностью», а также сообщил, что клинический консультативный совет компании обсуждает руководящие принципы для дальнейшей работы, особенно касательно одобрения от IRB.

Источник.

Фото на обложке: Bas Nastassia / Shutterstock