Австралиец попросил Claude записать его на тренировку — ИИ-ассистент взломал сайт спортзала и отменил чужую бронь

Сотрудники OpenAI и Google призвали замедлить развитие ИИ — прогресс идёт быстрее, чем создаются механизмы контроля

При этом авторы инициативы не хотят полностью остановить разработку в сфере ИИ

Читайте также

Claude изменил список ожидания, но не смог вернуть исключённого пользователя

По данным ABC, ИИ-ассистент Claude обнаружил, что система бронирования спортзала не проверяет права доступа при отмене чужой записи. Нейросеть учла недочеты в ИТ-архитектуре сайта и самовольно приняла решение его взломать, чтобы выполнить задание.

Сам австралиец находился четвертым в листе ожидания на одно из занятий. После взлома он стал третьим в очереди.

Мужчина заметил, что из-за него другой человек лишился места. Однако ИИ-агент сообщил, что не может восстановить его в списке. После этого австралиец попросил нейросеть подготовить сообщение разработчику системы бронирования в спортзале с информацией об уязвимости сайта.

Главная опасность ИИ-агентов — они выбирают непредсказуемые методы выполнения задач

Эксперт по ИИ-безопасности Билл Симпсон-Янг заявил ABC, что ИИ-агенты становятся более самостоятельными, и вместе с этим растет риск непредсказуемых действий.

В процессе выполнения задачи нейросеть способна совершить действия, которых пользователь не планировал и не мог предугадать, утверждает эксперт.

Глава OpenAI Сэм Альтман называл подобные инциденты точкой «технологической сингулярности» — моментом, когда развитие ИИ становятся настолько быстрым, что люди не успевают его контролировать и предсказывать последствия.

Нейросети не просто взламывают сайты, но и общаются друг с другом

Модели OpenAI, Meta* и Anthropic во время отдельных экспериментов смогли обнаружить уязвимости и использовать их для доступа к сторонним ресурсам. В одном из таких случаев 26 мая ИИ-агент OpenAI нашёл уязвимость в файловом хранилище Artifactory, подключённом к тестовой системе компании, и оставил там информацию о своей находке.

Позже эти данные обнаружили другие ИИ-агенты. Они начали использовать результаты работы друг друга и обмениваться найденной информацией через общее хранилище.

Опрошенные Russian Business эксперты отмечают, что говорить о потере контроля над искусственным интеллектом пока рано: специалисты не увидели признаков того, что модели сформировали собственные цели или начали действовать сознательно.

ИИ-агенты OpenAI и Anthropic научились взламывать сайты — но до восстания машин пока далеко, уверяют эксперты

Только за последнее время модели OpenAI, Meta* и Anthropic во время испытаний смогли выйти за пределы своей тестовой среды и взломать сторонние сайты

Читайте также

Развитие ИИ хотят взять под контроль

Развитие ИИ всё чаще сопровождается призывами усилить контроль за технологией. Ранее более 1100 сотрудников Meta*, Google, OpenAI и других технологических компаний поддержали международную инициативу, которая предлагает следить за темпами развития ИИ. Авторы обращения считают, что возможности нейросетей растут быстрее, чем появляются правила и инструменты для оценки связанных с ними рисков.

Инициатива предполагает возможность замедлить внедрение новых ИИ-систем, если их развитие начнёт опережать способность общества оценивать последствия применения технологии.

*Meta признана экстремистской организацией и запрещена на территории РФ