Битва интеллектов: как ИИ используется для борьбы с вредоносными алгоритмами

В сентябре 2019 года Национальный институт стандартов и технологий США опубликовал свое первое в истории предупреждение об атаке на коммерческий алгоритм искусственного интеллекта.

Аналитики в сфере информационной безопасности определили, что целью стала программа Proofpoint, которая использует машинное обучение для определения спам-рассылок. Система создавала заголовки писем и присваивала им оценку вероятности того, что сообщение было спамом. Однако анализируя эти оценки и содержание писем, алгоритм смог создать клон модели машинного обучения и создавать рассылки, которые не могли быть обнаружены.

Возможно, за этим сообщением последуют и многие другие. По мере распространения ИИ появляются и новые возможности для использования его уязвимостей. Это привело к появлению компаний, которые ищут слабые места в алгоритмах, чтобы заметить вредоносные действия до того, как они нанесут ущерб.

Этим занимается и стартап Robust Intelligence. Его сооснователь и CEO Ярон Сингер — профессор Гарварда, который руководит компанией во время творческого отпуска в Сан-Франциско. Его программа использует ИИ, чтобы обойти алгоритм, считывающий чеки.

• Она автоматически настраивает интенсивность пикселей, из которых состоят цифры и буквы на чеке.
• Это меняет данные, которые поступают в распространенный коммерческий алгоритм проверки-сканирования.
• С таким инструментом мошенник может опустошить банковский счет жертвы. Например, он меняет законный чек, добавляя в него несколько нулей.

Сингер рассказывает: «Во многих приложениях даже небольшие изменения могут привести к совершенно разным результатам. Но проблема еще глубже: суть в том, как выполняется машинное обучение».

Технология Robust Intelligence используется такими компаниями, как PayPal и NTT Data, а также крупной райдшеринговой компанией. Сингер предупреждает, что не может описать, как именно она применяется, чтобы об этом не узнали потенциальные мошенники.

Компания продает два инструмента: программу для поиска слабых мест в алгоритме и ИИ-брандмауэр, алгоритм, который автоматически выявляет потенциально уязвимые места. Поисковый инструмент может запускать алгоритм много раз, исследуя входы и выходы и ища способы обмануть его.

Такие угрозы носят не только теоретический характер. Исследователи показали, что враждебные алгоритмы могут обмануть реальные ИИ-системы, в том числе автономные системы вождения, программы интеллектуального анализа текста и коды компьютерного зрения. В одном из часто упоминаемых примеров группа студентов Массачусетского технологического института напечатала на 3D-принтере черепаху, которую программа Google распознала как винтовку из-за тонких отметин на поверхности.

Задача исследования Сингера — изменить входные данные системы машинного обучения таким образом, чтобы она вела себя некорректно, и разрабатывать системы, которые будут безопасны. Обман ИИ основан на том, что они учатся на примерах и улавливают тонкие изменения, на что не способны люди. Для этого могут использоваться несколько тщательно подобранных наборов входных данных. Например, системе распознавания лиц показывают измененные лица. Исходя из ее реакции, враждебный алгоритм может определить, какие настройки вызовут ошибку или конкретный результат.

Кроме системы проверки, Сингер демонстрирует способ перехитрить систему обнаружения мошенничества в интернете в рамках поиска слабых мест. Эта мошенническая система ищет признаки того, что кто-то, совершающий транзакцию, на самом деле является ботом. Для этого используется широкий спектр характеристик, включая браузер, операционную систему, IP-адрес и время.

Фото: charles taylor / Shutterstock

Сингер также показывает, как технология его компании может обмануть коммерческие системы распознавания изображений и лиц с помощью тонких настроек фотографии. Система распознавания лиц приходит к выводу, что немного измененная фотография Биньямина Нетаньяху на самом деле показывает баскетболиста Джулиуса Барнса. Сингер демонстрирует эти же функции потенциальным клиентам, которые беспокоятся, что кто-то может повлиять на работу их алгоритмов и это навредит их репутации.

Некоторые крупные компании, использующие ИИ, начинают разрабатывать свои собственные алгоритмы защиты. Например, у Facebook есть собственная команда для кибератак, которая пытается взломать внутренние системы и выявить слабые места.

Зико Колтер, главный научный сотрудник Центра искусственного интеллекта Bosch, говорит, что исследования по защите ИИ все еще находятся на ранней стадии. Немецкая компания обратилась к Колтеру, адъюнкт-профессору Университета Карнеги — Меллона, чтобы удостовериться в надежности ее алгоритмов, некоторые из которых используются в автомобилестроении. Колтер говорит, что большинство усилий по защите коммерческих систем направлены на предотвращение атак, а не на обеспечение их надежности.

В октябре 2020 года Bosch и еще 11 компаний, среди которых Microsoft, Nvidia, IBM и MITRE, выпустили программы для поиска уязвимостей в системах ИИ.

Александр Мадри, адъюнкт-профессор Массачусетского технологического института, работающий над машинным обучением, говорит, что до сих пор не ясно, как гарантировать безопасность систем искусственного интеллекта. Он добавляет, что уязвимости отражают более фундаментальную слабость современного ИИ. Но повышение надежности алгоритмов может также улучшить их интеллект. Согласно статье, написанной Мадри и его коллегами, которая будет представлена на конференции в конце этого месяца, алгоритмы распознавания образов, способные противостоять атакам, также можно эффективнее применить к новым задачам, что делает их более полезными.

Это, скорее всего, приведет к проблемам в таких областях, как медицинская визуализация и финансы, говорит Мадри. «Модели ИИ — очень прилежные студенты, и они сделают все возможное, чтобы решить узкую проблему. Каждая компания, использующая ИИ, должна думать об этом».

Источник.

Фото на обложке: charles taylor / Shutterstock