Мнение эксперта: Игорь Пивоваров о том, что происходит с OpenAI

Немного истории

Учитывая, сколько бреда за последние пару дней наговорили про увольнение Сэма Альтмана из OpenAI, выскажу очевидную и разумную гипотезу о причинах конфликта и увольнения Альтмана.

OpenAI изначально был основан как НКО, развивающая ИИ на благо всего человечества, а не конкретного государства или корпорации. Основан, как мы помним, Илоном Маском и Сэмом Альтманом. Идея была в том, что развитие ИИ внутри больших коммерческих компаний опасно для человечества в целом, ибо дает слишком большую концентрацию власти в одних руках.

Вполне логично предположить, что люди, которые пошли работать в OpenAI, разделяли эту миссию. Поскольку на тот момент переход в новую компанию выглядел как «прыжок в неизвестность», и люди, уходящие туда с высокооплачиваемой работы, явно делали выбор не в пользу денег. Об этом прямо писал журнал Wired в 2016 году — что зарплаты ресерчеров в OpenAI несопоставимы с зарплатами в Google или Facebook.

Илья Суцкевер, к слову, работал до этого в Google Brain. Становясь главным научным сотрудником (и сооснователем) OpenAI, он практически наверняка разделял эти идеи открытости и работы на благо человечества. Неудивительно, ведь эти идеи близки любому ученому; наука в целом — открытая система.

Изначально у OpenAI было два равноправных директора — Илон Маск и Сэм Альтман. Они же были ключевыми фаундерами, и именно Маск был основным «донором». Предположу также, что именно Маск был главным идеологом «открытого некоммерческого партнерства» для разработки ИИ.

Но в 2018 году Илон Маск покинул совет директоров (борд) OpenAI, и единоличным директором стал Сэм Альтман. По официальной версии, у Маска был конфликт интересов OpenAI – Tesla. Но по неофициальной версии, Маск считал, что развитие компании идет не туда, и хотел стать единоличным директором компании. Однако борд ему отказал, и Маск в своем стиле ушел. Оставшись, впрочем, «донором» компании.

Трансформация OpenAI в «коммерческую компанию»

Затем началось интересное. С момента, когда Альтман стал CEO OpenAI, началась значительная трансформация компании в коммерческую сторону. В 2019 году неожиданно для всех появилась коммерческая дочерняя компания OpenAI Global LLC, созданная для «лицензирования разработанных технологий». После чего в том же 2019 году OpenAI привлекла $1 млрд от Microsoft на дальнейшую разработку. А в 2023 году привлекла еще $10 млрд. 

Но это еще не все. Большая языковая модель GPT-3.5 превращается в новую модель ChatGPT, которая становится супер успешным коммерческим продуктом самой OpenAI. То есть это даже уже не лицензирование — это просто разработка продукта внутри компании.

Конфликт с изначальной миссией

С точки зрения бизнеса, работа Сэма Альтмана как гендиректора компании выглядит эффективной: привлек огромные инвестиции, нашел способ монетизировать убыточные исследования (наука почти всегда убыточна, к сожалению), да еще и выпустил малым составом суперуспешный продукт. Не говоря уже о гениальном маркетинге OpenAI, благодаря которому про их ChatGPT знает весь мир — сервис набрал 100 млн подписчиков всего за два месяца, установив мировой рекорд.

Но посмотрим на это с точки зрения изначальной миссии компании. Под руководством Сэма Альтмана OpenAI все дальше уходит от некоммерческой сути. Лично я давно перестал понимать, что происходит внутри. Вплоть до пятницы 17 ноября, когда, наоборот, все стало понятно. 

Предположу, что внутри OpenAI тема некоммерческой деятельности на благо человечества не затухла, а тлеет все эти годы и время от времени воспламеняется. Более того: думаю, именно Илья Суцкевер — главный научный сотрудник — основной носитель этой идеи. И, с одной стороны, понимая, что науку и исследования нужно финансировать, он и его команда последние годы работали в том русле, которое задавал гендиректор; с другой — он все сильнее осознает, что OpenAI полным ходом движется в противоположную сторону от той миссии, под которую он подписывался, придя туда работать.

Но в последнее время, судя по всему, разногласия внутри OpenAI могли сильно обостриться. Одним из важных событий могло быть открытое письмо от Future of Life Institute.

Идея приостановки разработки LLM

Одной из главных целей разработки ИИ многие считают создание AGI — Сильного интеллекта, или Суперинтеллекта. Предполагается, что это будет ИИ, превосходящий человека в выполнении любых задач. Именно разработка AGI и была с самого начала заявлена как цель работы OpenAI. Уже тогда было понятно, что обладание таким AGI (если такое «обладание» в принципе возможно) принесет его владельцу колоссальную власть и возможности. Поэтому и возникла идея вести такую разработку «на благо всего человечества», а не в интересах какой-либо корпорации.

Есть множество аргументов — от вопроса об управлении и постановке задач до идей о том, что управление таким интеллектом может оказаться невозможным, и «джинн вырвется из бутылки».

Ярким проявлением этой дискуссии и этих опасений стало открытое письмо института Future of Life с призывом приостановить разработку LLM на полгода по всему миру и совместно обсудить риски и угрозы такой разработки и возможности их уменьшения. Это письмо было подписано множеством уважаемых людей, в том числе Илоном Маском и Йошуа Бенджиа, одним из «отцов-основателей» сегодняшнего глубокого обучения. К слову, я тоже подписал это письмо, как и 33 тыс. исследователей и энтузиастов со всего мира.

Интересно, что Джеффри Хинтон, возглавлявший на тот момент исследования ИИ в Google, это письмо не подписал, хотя по многим оценками разделяет вышеупомянутые опасения. Но спустя несколько месяцев он уволился из Google и объявил, что это решение призвано дать ему полную возможность высказываться открыто по поводу ИИ. Полагаю, он в том числе имел в виду это письмо. В любом случае, теперь и Джеффри Хинтон, и Йошуа Бенджио придерживаются позиции, что нужно более аккуратно и внимательно отнестись к разработке ИИ, поскольку она сулит значительные риски и угрозы.

Илья Суцкевер — ученик Джеффри Хинтона. А значит, с высокой долей вероятности общается с ним напрямую и разделяет какие-то его взгляды. И, совершенно точно, Суцкевер осознает свою высочайшую личную ответственность за разработку технологии мирового уровня, которая потенциально несет в себе экзистенциальные риски для человечества.

Неожиданное увольнение Альтмана

Мы подходим к главному событию — стремительному и неожиданному увольнению Сэма Альтмана с поста гендиректора OpenAI. Точно известно, что решение об увольнении ему озвучил сам Илья Суцкевер, член совета директоров OpenAI. Также известно, что незадолго до этого увольнения Сэм Альтман сузил полномочия Ильи Суцкевера в компании, что вызвало сильное недовольство Ильи. Тем не менее конфликты в компании — это нормальное явление, и простой конфликт не объясняет стремительности увольнения.

Рискну сделать еще одно предположение. Допустим, совсем недавно в OpenAI обнаружили еще что-то новое и неожиданное в работе своих моделей. Что-то такое, что переводит модель на «следующий уровень интеллекта», так сказать. 

Кстати, косвенно это предположение подтверждает и сам Сэм Альтман, сказав за день до увольнения фразу:

«Four times now in the history of OpenAI — the most recent time was just in the last couple of weeks — I’ve gotten to be in the room when we push… the veil of ignorance back and the frontier of discovery forward… and getting to do that is like the professional honor of a lifetime».

«Четыре раза за историю компании, в том числе последний раз за последние пару недель, мы делали потрясающие прорывы вперед, приоткрывающие… завесу невежества. И быть в этой комнате, где на твоих глазах сделано такое открытие… это главная в жизни честь в профессиональном плане».

Допустим, в OpenAI совсем недавно открыли что-то новое и поразительное, переводящее LLM на новый уровень. Что с этим делать?

Очевидно, бизнес-ориентированный Сэм Альтман видит в свежей фиче новые продукты и коммерческие возможности для компании. Или для ее главного инвестора — Microsoft. Это и есть главная задача гендиректора любой нормальной коммерческой компании.

Но, видимо, Илья Суцкевер (а наверняка и часть команды) видит в этом новом открытии не только возможности, но и угрозы нового уровня. Возможно, невиданного ранее уровня. И его позиция тогда — перестать спешить и внимательнее исследовать все аспекты нового явления.

Кстати, летом 2023 года Илья Суцкевер возглавил еще и внутреннюю команду в OpenAI по Superalignment — то есть такой разработки ИИ, чтобы разработанная технология поддавалась человеческому управлению и не могла нанести ему вред. Назовем ее политикой «ответственной разработки».

Судя по всему, некое новое свойство LLM, открытое в OpenAI, заставило своих создателей сильно усомниться в этом самом Superalignment. И мы наверняка рано или поздно узнаем, о чем оно. Но вернемся к увольнению Альтмана.

Предположу, что в момент осознания возможностей и угроз нового открытия оба ключевых человека OpenAI повели себя диаметрально противоположно. Сэм Альтман увидел новые бизнес-перспективы и начал рассуждать, как сделать из этого продукт. А Илья Суцкевер в очередной раз убедился, что бизнес-интересы компании идут вразрез с политикой «ответственной разработки», которую он сам же и продвигает.

Все варианты решения этого конфликта болезненны, мы не не знаем полной картины происходящего внутри, но факт остается фактом: Илья Суцкевер решил сам отодвинуть Альтмана от управления компанией, чтобы уменьшить давление бизнеса и притормозить разработку. Но с точки зрения корпоративной структуры, единственной возможностью сделать это было увольнение Альтмана с поста CEO. Также возможно, что сперва Илья был настроен менее радикально, но свою роль сыграл совет директоров, где в основном представлены люди, занимающиеся безопасностью ИИ — которые, возможно, настроены еще более осторожно к возможным рискам.

Стремительность же увольнения объясняется тем, что это было необходимо сделать до того, как в компании начнут выполнять бизнес-решения,  связанные с этим новым открытием. Видимо, Суцкеверу было необходимо максимально быстро устранить Альтмана и других бизнес-ориентированных людей, чтобы ограничить распространение информации и оставить новые результаты внутри исследовательской лаборатории, не выпуская их наружу.

Все это говорит о том, что внутри OpenAI совершено какое-то прорывное открытие, о котором пока никто из участников событий не будет рассказывать. Одни в нем видят гигантские бизнес-перспективы, а другие видят в нем большие новые риски.

Альтман, инвесторы и Microsoft

Несомненно, увольнение Альтмана стало болезненным ударом для Microsoft. Наверняка Microsoft уже знает о сути нового открытия и поэтому срочно нанял Сэма Альтмана и Грега Брокмана, чтобы остановить дальнейшее распространение информации. Все же Microsoft вложила огромные деньги в OpenAI и предполагает, что так или иначе сможет получить доступ и к новым разработкам OpenAI. А никто не знает их лучше, чем Сэм Альтман.

Также увольнение Альтмана стало ударом для всей корпоративной Америки (и, пожалуй, для всего корпоративного мира). Ведь Сэм Альтман — пример суперуспешного гендиректора с точки зрения любого инвестора или бизнесмена. Поэтому решение выглядит непонятным, нелогичным, губительным для компании.

Но для тех, кто помнит первоначальную миссию OpenAI, это увольнение хотя и выглядит поспешным, — все же вполне логичное и закономерное событие. Я бы не удивился, если бы новым гендиректором OpenAI снова стал Илон Маск, инициатор идеи некоммерческой разработки ИИ.

Вместе с уходом CEO возможен и уход нескольких сотрудников, в том числе исследователей. Но, думаю, костяк исследовательской команды сплочен вокруг Ильи Суцкевера. А учитывая, что они значительно опережают остальные компании, сильно сомневаюсь, что люди покинут команду, которая ближе остальных подобралась к пониманию самой загадочной и интересной проблемы современности — интеллекта, мышления и сознания.

Вывод

Не сомневаюсь, что OpenAI в последние дни получили новые интереснейшие научные результаты. Возможно, это грандиозное научное открытие. И именно попытка немедленной коммерциализации результатов стала причиной стремительного увольнения Сэма Альтмана. Теперь компанией по факту управляет Илья Суцкевер, который вместе с научной командой сфокусируется на исследовании новых возможностей открытия. Интересно, что же они такое обнаружили?

***

Статья была написана в понедельник днем. Вечером появилась информация, что большая группа сотрудников подписала письмо совету директоров OpenAI с угрозой уйти из компании в случае, если совет не восстановит Сэма Альтмана и Грега Брокмана и не подаст после этого целиком в отставку. Странным образом в числе подписантов фигурирует и сам Илья Суцкевер! Хотя именно он увольнял Альтмана «в прямом эфире», как мы знаем со слов самого экс-гендиректора OpenAI. Учитывая, что Microsoft, воспользовавшись ситуацией, пытается переманить большинство  сотрудников к себе, вся эта скандальная история происходит в таких масштабах, что Илья Суцкевер засомневался в правильности принятого решения, поскольку оно грозит расколоть компанию, и примкнул к большинству сотрудников. Безусловно, он не был заинтересован в разрушении компании и переходу людей в Microsoft, где он лишь косвенно сможет влиять на результаты исследований. Также он написал пост в Twitter, где делится сожалениями за то, что «участвовал в совете директоров» и «не хотел навредить компании». Похоже, он попал в очень трудную ситуацию, оказался между молотом и наковальней. Я по-прежнему придерживаюсь предложенной выше версии событий, хотя ситуация развивается все более парадоксально.