«Зал позора ИИ»: поможет ли база данных о происшествиях с ИИ регулировать сферу

Как это работает

Если человек погибает в автокатастрофе в США, данные об инциденте обычно отправляются в Национальное управление безопасностью движения на трассах. Согласно федеральному закону, пилоты гражданских самолетов должны оповещать Национальный совет по безопасности на транспорте США о пожарах на борту и прочих происшествиях. Это помогает властям и производителям повышать безопасность в этих областях.

База данных AI Incident Database призвана выполнять ту же функцию. Она была запущена инженером МО Syntiant Шоном МакГрегором. Он считает, что сбор данных о происшествиях с ИИ необходим, так как благодаря этой технологии машины все больше участвуют в жизни людей, а культура разработки ПО не учитывает необходимый уровень безопасности.

AI Incident Database находится под управлением некоммерческой организации Partnership on AI. Ее основали крупные технологические компании с целью изучить недостатки искусственного интеллекта. МакГрегор надеется, что репозиторий станет некой формой публичной ответственности для технологических компаний, а также побудит команды инженеров внимательнее относиться к создаваемой технологии.

База данных определяет происшествие с ИИ как «ситуацию, в которой ИИ-системы нанесли или почти нанесли реальный ущерб». На данный момент там зарегистрировано 100 происшествий: 16 из них связаны с Google (что больше, чем у других компаний), 7 — с Amazon и 2 — с Microsoft.

• В первой записи собраны жалобы на то, что YouTube Kids отображает контент для взрослых, в том числе содержащий выражения сексуального характера.
• Одна из последних касается сбоя в системе социального обеспечения Франции, которая иногда приписывает людям несуществующие долги.
• #68 запись рассказывает о роботе-охраннике, который упал в фонтан, а #16 — о том, как сервис сортировки фото Google пометил темнокожих людей как «гориллы».
• Здесь также можно найти информацию об авариях с автономным транспортом, например трагический инцидент с автомобилем Uber в 2018 году, и об ошибочных арестах из-за сбоев в системах автоматического перевода и распознавания лиц.

Добавить запись может любой желающий. На данный момент их утверждением занимается сам МакГрегор, и ему предстоит обработать еще довольно много данных. В будущем он надеется превратить репозиторий в проект с открытым исходным кодом, который будет управляться сообществом.

Один из любимых инцидентов МакГрегора произошел в городе Нинбо, Китай: система, которая фиксирует нарушения правил перехода улицы и работает на базе технологии распознавания лиц, обвинила женщину, чье лицо было размещено на автобусной рекламе.

Центр безопасности и новых технологий Джорджтауна (Center for Security and Emerging Technology, CSET) также работает над улучшением проекта. Студенты Джорджтаунского университета создают параллельную базу данных с деталями происшествия: был ли вред преднамеренными, работал ли проблемный алгоритм самостоятельно или с участием человека и т. д.

Что думают эксперты

Директор по стратегии CSET Хелен Тонер считает, что законодателям и регуляторам, вероятно, стоит ввести отчетность об инцидентах, связанных с ИИ, как в сфере авиации. Должностные лица ЕС и США уже проявляют растущий интерес к регулированию этой сферы. Однако технология имеет множество форм и широко применяется, что усложняет создание четких правил, которые не устареют в скором времени. По мнению Тонер, обязательная отчетность поможет понять, что идет не так и в каком направлении стоит двигаться.

Директор лаборатории Duke’s Humans and Autonomy Мисси Каммингс поддерживает концепцию базы данных, но добавляет: чтобы добиться перемен, понадобится более широкая поддержка со стороны компаний-разработчиков систем ИИ, а также институтов, которые занимаются обеспечением безопасности.

Некоторые базы данных авиационных происшествий достигли высокого качества и широкого охвата отчасти благодаря юридическим полномочиям пилотов и прочих членов экипажа. Остальные, например Aviation Safety Reporting System под управлением НАСА, используют конфиденциальные отчеты от персонала техобслуживания и других сотрудников. Чтобы заработать такое же влияние, AI Incident Database потребуется время и поддержка регулирующих органов и индустрий, реализующих крупные ИИ-проекты, такие как самоуправляемые автомобили.

По словам Каммингс, федеральным агентствам пока не хватает ресурсов и специалистов, чтобы надлежащим образом разобраться в опасностях самоуправляемых систем на дорогах и в воздухе. В ходе федерального расследования двух смертельных авиакатастроф Boeing 737 Max Федеральному управлению гражданской авиации США было рекомендовано уделить больше внимания тому, как автономное ПО может нарушить работу пилота, внезапно передав ему управление. Каммингс также добавляет: компаниям, автоматизирующим дорожный и воздушный транспорт, стоит двигаться в сторону сотрудничества по добровольным стандартам и протоколам безопасности.

Источник.