Истории / Искусственный интеллект

Толстовка-невидимка: как люди пытаются обманывать алгоритмы наблюдения

Это разработка специалистов из Facebook и Университета Мэриленда

04 сентября 2020, 17:31

Толстовка-невидимка: как люди пытаются обманывать алгоритмы наблюдения

Благодаря распространению искусственного интеллекта камеры видеонаблюдения могут превращаться в настоящих шпионов, а изображения, взятые из социальных сетей или видео, иногда попадают в огромные базы данных типа Clearview AI. Одежда из специальной ткани может от этого защитить.

Исследователи из Facebook и Университета Мэриленда создали толстовки, которые обманывают алгоритмы наблюдения. Они называют их «плащами-невидимками» для ИИ.

Принцип действия новой разработки основан на особенности алгоритмов компьютерного зрения, которая была обнаружена около пяти лет назад. Эти системы используют простой, даже несколько примитивный подход к идентификации объектов: они ищут в новом изображении наборы пикселей, которые похожи на увиденные до этого.

В отличие от людей, которые могут устанавливать сложные взаимосвязи при изучении нового, алгоритм просто сопоставляет новые данные с образцом. И если вы знаете шаблон, который он ищет, вы можете его скрыть.

Чтобы создать футболки, обманывающие системы наблюдения, команда Facebook и Университета Мэриленда обработала около 10 тысяч изображений людей с помощью алгоритма обнаружения. Когда ИИ находил человека, изображение заменяли, случайным образом искажая перспективу, яркость и контраст. Еще один алгоритм определял, какое из изменений эффективнее всего обманывало систему.

Затем рандомизированные паттерны напечатали на физических объектах — плакатах, бумажных куклах и, наконец, на одежде — и выяснили, что алгоритмы по-прежнему их не распознают. Однако исследователи отметили, что показатели реальных тестов были ниже по сравнению с виртуальными. Когда человек надевает толстовку, вероятность того, что система видеонаблюдения его обнаружит, снижается с почти 100% до 50%.

Фото: Unsplash

Это исследование — продолжение работы, начатой специалистами факультета информатики Университета Мэриленда, некоторые из которых присоединились к Facebook в 2018 и 2019 годах. Ранее лаборатория изучала, как те же принципы позволяют обманывать алгоритмы, противодействующие нарушению авторских прав — например, на YouTube. Так ученые хотели привлечь внимание к тому, насколько легко уклониться от подобных систем.

Это исследование может быть полезно и для Facebook. Систему удается обманывать, потому что алгоритмам распознавания изображений не хватает контекста и понимания анализируемых изображений.

Выявление слабых мест системы — первый шаг к повышению ее надежности. Это начало процесса, который не только сделает алгоритмы более устойчивыми к атакам, но и поможет им стать более точными и гибкими. Другими словами, это исследование призвано не уничтожить систему, а повысить ее эффективность.

На самом деле уже сейчас футболка или толстовка с принтом, обманывающим алгоритмы, вряд ли поможет обойти технологию наблюдения — это показали результаты тестирования популярных систем с открытым исходным кодом. Кроме того, они не защищают от программ распознавания лиц, которые, например, используются в общественных местах для подсчета количества людей. Но сам факт того, что люди пытаются обойти современный алгоритм с помощью простого предмета одежды, говорит о меняющемся ландшафте в этой сфере. И даже если эта хитрость не сработает, толстовка, защищающая от систем видеонаблюдения, может стать отличной темой для разговора.

Источник.

Фото на обложке: Rageon.com

Авторы