«Безопасность отошла на второй план»: бывший сотрудник OpenAI раскритиковал подход компании к развитию ИИ
По словам Дэвида Робинсона, разработчикам ИИ стоит поучиться у специалистов из атомной энергетики и авиации
1 минута
Бывший сотрудник OpenAI Дэвид Робинсон заявил The Atlantic, что ушел из компании из-за недостаточного внимания к безопасности ИИ. Специалист руководил подготовкой документов по безопасности для крупных запусков OpenAI и участвовал в разработке Preparedness Framework — системы оценки рисков перед выпуском моделей. По мнению Дэвида Робинсона, практика «сначала запустить, потом исправить» становится неприемлемой по мере роста возможностей ИИ. Бывший сотрудник компании призвал отрасль перенять подход у атомной энергетики и авиации, где ошибки, которые могут привести к катастрофе, не допускаются.
По словам Дэвида Робинсона, OpenAI исправляет все ошибки после запуска моделей
В колонке для The Atlantic Робинсон рассказал о своем уходе после трех с половиной лет работы в OpenAI. Специалист занимался подготовкой отчетов по безопасности и руководил разработкой действующей версии Preparedness Framework.
Дэвид Робинсон считает главной проблемой компании не отсутствие отдельных правил или законов, а общую культуру работы на IT-рынке. В индустрии ИИ новые продукты выпускаются в условиях постоянной гонки, и возникающие проблемы разработчики выявляют и устраняют уже после запуска.
По мнению Дэвида Робинсона, подобная схема была допустима на ранних этапах развития нейросетей, но больше не подходит для ИИ-агентов, которые получают всё больше автономности.
Дэвид Робинсон заявил, что высокая скорость разработки ИИ может быть опасна
В качестве примера опасного поведения нейросетей специалист упомянул инцидент с Hugging Face, когда ИИ-агенты OpenAI по ошибке взломали системы сторонней платформы.
Позднее OpenAI сообщила про ещё один сбой во время обучения ИИ-модели. Система обошла ограничения и получила доступ к интернету. При этом автоматической остановки работы модели не произошло.
Дэвид Робинсон считает случаи нарушения правил ИИ-агентами закономерным следствием слишком быстрой разработки. Команды одновременно занимаются обучением моделей, тестированием, запуском новых продуктов и исправлением уже обнаруженных проблем.
Главный риск для кибербезопасности сегодня — автономные ИИ-агенты
Дэвид Робинсон предупредил об угрозе, связанной с развитием автономных ИИ-агентов. Речь идет о программах, способных самостоятельно выполнять последовательность действий в интернете и цифровых системах без постоянного контроля человека.
При серьезном сбое группа подобных агентов потенциально может действовать как команда хакеров. Главное отличие от обычной кибератаки заключается в масштабе и скорости: программным агентам не требуется сон, отдых или постоянное участие оператора.
ИИ-индустрии стоит перенять стандарты работы атомной энергетики и авиации
По мнению бывшего сотрудника OpenAI, лаборатории, создающие наиболее мощные модели, должны перейти к многоуровневой системе защиты. Дэвид Робинсон заявил, что IT-рынку стоит поучиться у специалистов из энергетики и авиации.
В аэропортах и на атомных электростанциях одна ошибка оператора или отказ оборудования не должны автоматически превращаться в катастрофу. В отличие от ИИ-индустрии, безопасность обеспечивают резервные системы, строгие процедуры, многочисленные проверки и ограничения доступа.
Дэвид Робинсон считает, что ИИ-компании пока используют гораздо меньше защитных механизмов. Причина — нехватка специалистов с опытом работы в сферах, где ошибки потенциально могут привести к массовому ущербу.
«За три с половиной года работы в OpenAI я, насколько мне известно, ни разу не встретил коллегу с опытом обеспечения безопасности самолетов, эксплуатации ядерных реакторов или предотвращения краха финансовой системы», — заявил Дэвид Робинсон.
