Какие минусы есть у систем распознавания лиц для школ

Систему распознавания лиц запустили в восьми школах Локпорта. Он стал первым городом с таким опытом в штате Нью-Йорк и одним из первых в стране. По словам 62-летнего Шульца, это «превратило наших детей в лабораторных крыс, участвующих в высокотехнологичном эксперименте по вторжению в частную жизнь».

Технология распознавания лиц становится все востребованнее в США, и ей находятся все новые и новые способы применения. Чиновники заявляют, что обращаются к таким системам во имя общественной безопасности.

Несколько городов, таких как Сан-Франциско и Сомервилль, штат Массачусетс, запретили местным властям использовать технологию распознавания лиц, но они являются исключениями. Только в прошлом году более 600 правоохранительных структур США подключили систему компании Clearview AI. Аэропорты и другие общественные места, такие как Мэдисон-сквер-гарден на Манхэттене, также пошли на это.

Школы — это новый фронт для технологии распознавания лиц, и споры в Локпорте похожи на обсуждения, которые сопровождали ее раньше. Сторонники называют ее важнейшим инструментом для борьбы с преступностью, который поможет предотвратить массовую стрельбу и остановить насильников. Роберт Липума, директор по технологиям школьного округа Локпорта, уверен: если бы эту технологию внедрили в школе Марджори Стоунман Дуглас в Паркленде, штат Флорида, то стрельба в 2018 году могла бы не случиться.

Но противники технологии, в том числе Шульц, говорят, что недостатки систем распознавания лиц, связанные с конфиденциальностью, точностью и расовой предвзятостью, вызывают еще большее беспокойство, когда речь заходит о детях.

«Подвергая пятилетних детей этой технологии, мы не сделаем ситуацию более безопасной и мы не можем допустить, чтобы повсеместное наблюдение стало нормой для общественных мест, — отмечает Стефани Койл, замдиректора центра образовательной политики Нью-йоркского центра гражданских свобод. — Напоминание людям об их величайших страхах — разочаровывающая тактика, призванная отвлечь внимание от того факта, что этот продукт является дискриминирующим, неэтичным и небезопасным».

Споры в Локпорте шли почти два года. Школьный округ впервые объявил о планах по внедрению системы распознавания лиц Aegis в марте 2018 года. На модернизацию 300 камер видеонаблюдения город потратил $1,4 млн, выделенных государством.

Но когда в мае прошлого года администрация решили провести тестовый запуск системы, департамент образования штата попросил подождать. Отчасти это было ответом на растущую обеспокоенность общественности по поводу конфиденциальности учеников. Штат потребовал, чтобы Локпорт как следует позаботился о защите личных данных подростков.

К июню чиновники Локпорта заявили, что скорректировали политику конфиденциальности и начали тестировать части системы. В конце ноября департамент образования штата заявил, что обновленная политика отвечает его требованиям. В январе школьный совет Локпорта единогласно одобрил последний пересмотр правил.

Когда система распознавания лиц включена, она анализирует изображения с сотен камер и проверяет, входят ли появляющиеся на них люди в список «лиц, представляющих интерес», который составила администрация школы.

Камера на потолке помещения, в котором располагается управление образования Локпорта, подключена к системе распознавания лиц Aegis

Перечень включает в себя преступников, задержанных за сексуальное насилие в этом районе, людей, которым запрещено видеть учеников из-за судебного запрета на контакт, бывших сотрудников, которым нельзя посещать школу, и других личностей, которых правоохранительные органы считают «реальными угрозами».

Если программа обнаружит в школе человека из списка, она отправит предупреждение одному из 14 охранников школы, работающих посменно. Он сравнит изображение с камеры с изображением в базе данных, а затем подтвердит или отклонит сигнал тревоги.

Если охранник подтвердит совпадение, еще одно предупреждение отправится нескольким местным чиновникам. Они решат, какие действия нужно предпринять дальше.

Система также будет проверять наличие оружия у посетителей. Глава отделения полиции в Локпорте Стивен Эбботт добавил: если охранник подтвердит информацию о вооруженном человеке, то она автоматически отправится как чиновникам, так и полиции. По словам Эбботта, если программа передаст полицейским ложное сообщение об оружии в школе, это будет восприниматься просто как «жизненная ситуация».

Через несколько дней после объявления о запуске системы некоторые ученики заявили, что им очень мало рассказали о ней. «Я не могу точно определить, где находятся камеры, и даже не думаю, что вообще видел их. Я не совсем понимаю, зачем они нам нужны. Мне не сказали, с какой целью они были установлены», — поделился 14-летний Брук Кокс, новичок в средней школе Локпорта.

Другие, например, 18-летняя Тина Ни, сказали, что новые технологии и появление ее школы в новостях были «крутыми».

Критики этой технологии, в том числе Шульц и Нью-йоркский союз гражданских свобод, указывают на появление новых доказательств расовой предвзятости систем распознавания лиц. В декабре федеральное правительство опубликовало одно из крупнейших в своем роде исследований, которое показало, что большинство коммерческих систем распознавания лиц демонстрируют предвзятость, ложно идентифицируя афроамериканские и азиатские лица в 10-100 раз чаще, чем европейские. Другое федеральное исследование выявило более высокий уровень ошибочных совпадений среди детей.

В Локпорте к чернокожим ученикам применяют и без того несоразмерные наказания. В 2015-2016 учебном году от уроков отстранили 25% таких подростков, а зачислили только 12%, следует из данных федерального департамента образования.

Липума считает систему распознавания лиц в школах Локпорта точной. Он также сказал, что, как и некоторые другие чиновники, хотел бы в будущем добавить отстраненных учеников в список наблюдения. При этом департамент образования штата требовал, чтобы Локпорт четко указал в своей политике конфиденциальности, что никогда не будет использовать систему для собирания данных об учениках. Липума отмечает, что большинство школьных перестрелок в последнее десятилетие проводились учениками.

Джейсон Нэнс, профессор права в Университете Флориды, специализирующийся на законодательстве и политике в области образования, предупредил, что включение учеников в список «лиц, представляющих интерес» может иметь непредвиденные последствия.

«Если отстраненных учеников поместят в список наблюдения, они будут подвергаться более тщательным проверкам», — сказал он, добавив, что это может повысить вероятность их попадания в систему уголовного правосудия.

Джейд Макдональд, изучающая политологию в государственном колледже Буффало, была одной из немногих чернокожих учениц в Локпорте. По ее мнению, слишком рискованно устанавливать систему распознавания лиц, которая может автоматически вызвать полицию.

«Поскольку процент ложных совпадений так высок, это может привести к очень опасным ситуациям, которые в других условиях было бы легко избежать», — считает Макдональд.

При этом она убеждена, что полицейские «сделают все возможное, чтобы остановить подозрительного человека», даже если этот человек окажется учеником школы.

Сейчас противники технологии возлагают надежды на законодателей. В апреле член законодательного собрания штата Моника Уоллес, демократ из Ланкастера, представила законопроект, который мог бы заставить Локпорт на год прекратить использование системы распознавания лиц. Предполагалось, что за это время местный департамент образования успеет изучить технологию. Законопроект легко прошел в законодательном собрании штата, но не был принят сенатом.

Уоллес заявила, что намерена сделать утверждение этого законопроекта приоритетом на новой законодательной сессии. «Мы все хотим, чтобы наши дети были в безопасности в школе. Но есть более эффективные, проверенные и дешевые способы сделать это», — уверена она.

Уоллес указала, что школы могут предпринять менее масштабные действия, такие как модернизация входов и выходов, наем охранников, консультантов и соцработников.

Шульц говорит, что продолжит бороться. «Надеюсь, другие города США научатся на глупых ошибках Локпорта. Решение привнести в наши школы распознавание лиц и искусственный интеллект должно стать предметом серьезного разговора», — убежден он.

Источник.

Фото: Либби Марч для The New York Times