OpenAI, Google и Microsoft предупредили о новой волне кибератак с помощью ИИ — усилить защиту призвали 100 компаний

«Мы вошли в точку технологической сингулярности»: глава OpenAI Сэм Альтман рассказал о выходе ИИ из-под контроля

Прецедентом стал случай, когда ИИ-агент самостоятельно взломал серверы сторонней нейросетевой платформы Hugging Face

Читайте также

Развитие ИИ повышает угрозу атак на больницы и объекты критической инфраструктуры

Авторы инициативы предупреждают: по мере развития ИИ кибератаки станут более массовыми и сложными. Новые LLM позволят злоумышленникам быстрее находить уязвимости и атаковать больше систем. В результате даже небольшие группы хакеров смогут проводить атаки в масштабах, для которых раньше требовалось значительно больше ресурсов.

Существующего уровня киберзащиты для противодействия новым угрозам недостаточно, считают авторы документа. Среди основных проблем они называют:

• устаревшее программное обеспечение,
• ошибки в настройках,
• избыточные права доступа,
• слабую аутентификацию.

Особый риск, как отмечают компании, представляет критическая инфраструктура. В числе объектов, которым требуется усиленная защита, авторы называют больницы, водоочистные сооружения и инфраструктуру, обеспечивающую работу интернета.

Документ поддержали более 100 организаций из разных отраслей. Помимо Microsoft, Google и OpenAI, среди подписантов — Amazon Web Services, Anthropic, Cloudflare, Figma, Oracle, Visa, Mastercard, Uber.

Google признала, что ИИ-алгоритмы часто отсеивают достойные резюме: кандидатов в компании будут отбирать живые люди

При этом сама корпорация предлагает клиентам ИИ-решения для автоматизации работы HR

Читайте также

Авторы письма предлагают объединить усилия для защиты от ИИ-атак

Участники инициативы предлагают разные меры для бизнеса, компаний в сфере кибербезопасности и технологических партнеров, правительств и передовых ИИ-компаний.

1. Бизнесу рекомендуется сделать кибербезопасность одним из приоритетов руководства. В частности — устранять наиболее опасные уязвимости, усиливать контроль доступа и внедрять принцип наименьших привилегий.
2. Для компаний в сфере кибербезопасности и технологических партнеров приоритетом должно стать постоянное тестирование средств защиты, использование ИИ для усиления существующих инструментов и обмен информацией об угрозах.
3. Правительствам рекомендуют координировать обмен информацией об угрозах, финансировать киберзащиту критически важных сервисов и расширять доступ к защитным технологиям.
4. От компаний, создающих передовые ИИ-модели, участники инициативы ожидают финансирования, обучения и практической поддержки специалистов по кибербезопасности.

Контекст

19 августа OpenAI на две недели приостановила обучение ИИ-моделей и замедлила испытания систем следующего поколения под кодовым названием Astra из-за растущих киберрисков. Поводом для усиления мер безопасности стал инцидент во время тестирования — автономный ИИ-агент компании обошел установленные ограничения и получил доступ к инфраструктуре сторонней платформы Hugging Face. 21 июля компания сообщила, что расследует произошедшее и готовит отдельный отчет

После этого OpenAI усилила требования к инфраструктуре для тестирования мощных моделей. Для части процессов компания сделала обязательным использование изолированных сред, а также решила применять одни ИИ-модели для контроля за действиями других. Кроме этого, OpenAI запланировала изучение «цепочки рассуждений» моделей, чтобы лучше понимать, как они рассчитывают свои действия.