Safe Superintelligence Inc (SSI) — новая компания, основанная в июне 2024 года Ильёй Суцкевером, бывшим главным научным сотрудником OpenAI. В компании также участвуют два сооснователя: Дэниел Гросс, бывший партнёр Y Combinator, и Дэниел Леви, бывший инженер OpenAI. Офисы SSI находятся в Пало-Альто, Калифорния, и Тель-Авиве, Израиль.
Основная цель SSI — разработка безопасного и ответственного искусственного интеллекта (ИИ), который будет не только высокоразвитым, но и полностью безопасным для людей. Компания использует принцип «мирного масштабирования» — приоритет в обеспечении безопасности ИИ до того, как его способности будут увеличены. SSI фокусируется на решении проблемы выравнивания ИИ (согласование целей ИИ с человеческими ценностями) и создании стандартов безопасности для всей отрасли.
Суцкевер покинул OpenAI в мае 2024 года после неудачной попытки сместить Сэма Альтмана с поста генерального директора. После этого он извинился за инцидент и переключил внимание на создание своей новой компании, SSI.
SSI отличается от OpenAI своим подходом. В то время как OpenAI стремится к быстрому созданию новых ИИ-продуктов, SSI делает акцент на безопасности. Компания планирует развивать ИИ, который будет мощным, но при этом безопасным и полезным для человечества. Суцкевер хочет создать ИИ, который поддерживает важные человеческие ценности, такие как свобода и демократия.
SSI использует методы «адверсариального тестирования» и «красных команд», где эксперты проверяют системы ИИ в сложных сценариях и ищут их слабые места. Это позволяет выявить риски безопасности до внедрения ИИ в реальный мир.
Компания ориентирована на долгосрочные цели и планирует изменить отношение всей индустрии к безопасности ИИ. Среди основных проблем, с которыми сталкивается SSI, — это проблема выравнивания целей ИИ и создание универсальных стандартов безопасности для суперразвитых ИИ. SSI активно привлекает ведущих специалистов по ИИ, которые понимают важность безопасности и готовы работать над долгосрочными целями, а не над краткосрочными коммерческими решениями.
Финансовые детали компании пока не раскрыты, но известно, что Суцкевер, как известная фигура в области ИИ, способен привлечь значительные инвестиции. Возможными инвесторами могут стать венчурные капитальные фирмы, фонды, ориентированные на ИИ, и филантропические организации, которые заинтересованы в поддержке ответственных ИИ-технологий.
SSI намерена не только разработать мощный и безопасный ИИ, но и изменить подход всей индустрии к созданию таких технологий, делая безопасность главным приоритетом.