Как Facebook использует ИИ для определения психического здоровья по постам

Алгоритм анализирует почти каждый пост в Facebook и дает ему оценку от нуля до единицы – «единица» означает наивысшую вероятность «неминуемого причинения самому себе вреда», объясняет представитель компании.

Этот процесс создания данных вызывает беспокойство у аналитика Наташи Дуарте. «Мне кажется, это надо рассматривать как интимную информацию о здоровье. Каждый, кто собирает такие данные, должен понимать это и обращаться с ними очень осторожно», – сказала она.

Законы о защите данных в США на данный момент не применяются к информации, которую создает алгоритм Facebook, продолжает Дуарте. В США информация о здоровье человека защищена Законом о переносимости и подотчетности в области здравоохранения. Но он применяется только к организациям, предоставляющим медицинские услуги, таким как больницы и страховые компании.

О протоколах приватности Facebook также ничего неизвестно. Представитель компании сообщил, что Facebook хранит информацию с низкими оценками риска суицида около месяца, а затем удаляет – но он не объяснил, как долго или в какой форме хранятся данные о высоком риске.

Может ли новый скандал с утечкой Facebook быть связан с данными о вашем ментальном здоровье?

Фото: Getty Images

Риски хранения такой интимной информации высоки, и она должна находиться под должной защитой и надсмотром, утверждают эксперты. Самая большая угроза – это утечка данных.

В сентябре Facebook заявила, что данные около 30 миллионов пользователей попали в руки третьи лицам, однако не сказала ничего о том, подвергалась ли информация, созданная их алгоритмам, хакерским атакам.

Кто сможет видеть информацию о психическом здоровье

Как только алгоритм определяет потенциальный риск по посту, он отправляет его команде модераторов Facebook. Компания не объясняла, как проходит обучение этих сотрудников, но настаивает, что они хорошо подготовлены к анализу такого контента.

Тем не менее, в обзоре Wall Street Journal 2017 года модераторы контента Facebook описывались как контрактные недостаточно обученные сотрудники, которые редко остаются в компании на долгое время. Facebook же утверждает, что команда модераторов проходит обучение по методикам, разработанным экспертами в области суицидов.

На первоначальной стадии, согласно компании, у модераторов нет доступа к именам людей, опубликовавших пост.

Если же алгоритм отмечает, что пост содержит информацию о потенциальном неминуемом риске, он отправляет его команде с большим опытом, члены которой когда-то работали либо в правоохранительных органах, либо на горячих линиях. У них есть доступ к информации о личности.

Иногда вмешивается полиция

Фото: AP Photo

Затем происходит следующее: либо сотрудники связываются с пользователем, либо с правоохранительными органами.

Согласно Дуарте, передача информации о пользователе полиции представляет собой наиболее серьезную угрозу конфиденциальности программы.

Facebook указала на многочисленные успешные интервенции полиции. Однако в недавнем докладе The New York Times после передачи информации представители правоохранительных органов связались с человеком, у которого, по его словам, не было суицидальных наклонностей. Полиция все равно отвезла его в больницу на проверку.

Почему этот алгоритм запрещен в ЕС

Фото: Getty Images

Facebook сканирует при помощи алгоритма посты на английском, испанском, португальском и арабском языках, но компания не проверяет посты в Европейском союзе.

Это связано с Общим регламентом по защите данных, который требует, чтобы пользователи давали веб-сайтам особое согласие на сбор конфиденциальной информации, например, относящейся к чьему-либо психическому здоровью.

В США Facebook рассматривают свою программу как вопрос ответственности.

Однако Дуарте считает, что нет смысла сравнивать врачей и IT-компании.

Эксперты в области приватности согласились, что в идеале нужно предоставить пользователям право выбора участвовать в этих программах – или хотя бы возможность выходить из них; но на данный момент эти варианты недоступны.

Эксперты считают, что у алгоритма есть хороший потенциал

Большинство экспертов в области конфиденциальности и здравоохранения согласились, что у алгоритма Facebook есть хороший потенциал.

Согласно Всемирной организации здравоохранения, каждый год около 800 тысяч человек совершают самоубийство – чаще всего это делают подростки и представители уязвимых групп населения.

Facebook считает, что несмотря на риск нарушения приватности, работа алгоритма того стоит.

Кайл Макгрегор, директор Департамента психической этики Нью-Йоркского университета, согласился с компанией.

Источник.

Материалы по теме:

Все самые громкие скандалы Facebook за 2018 год

Я хочу защитить свои данные в интернете. Как это сделать?

Как удалить аккаунт в Facebook навсегда? Инструкция со скриншотами

Пользователи Samsung пожаловались на невозможность удалить Facebook со смартфонов