Нейросети пишут код, отвечают на вопросы и генерируют музыку. Как это изменит наше будущее?

Самый продвинутый алгоритм генерации текста называется GPT-3 — Generative Pre-trained Transformer 3. Ее разработала некоммерческая организация OpenAI из Сан-Франциско. Основатели OpenAI — создатель Tesla и SpaceX Илон Маск, а также бывший президент акселератора YCombinator Сэм Альтман. 

Как следует из названия, GPT-3 — третье поколение программы обработки естественного языка от OpenAI. GPT-3 обучили на массиве текстовых данных: алгоритм находил в них закономерности и использовал полученные знания для генерации текста. Например, в пару к слову «огонь» программа с большей вероятностью выберет слово «грузовик» или «тревога», чем «ясный» или «эльфийский». 

Отличие GPT-3 от других моделей генерации текста — количество параметров, на которых обучался алгоритм, и широкий диапазон задач, которые он может решать.

Первый алгоритм генерации текста GPT выпустили в 2018 году. Его обучали на 117 миллионах параметров, и это считалось хорошим показателем. В 2019 году появился GPT-2, обученный на 1,5 миллиардах параметров. У GPT-3 — 175 миллиардов параметров. 

У GPT-3 есть еще одно важное отличие от других алгоритмов генерации текста: нейросети требуется меньше вводных для выполнения новой задачи. Пользователю нужно показать модели пару примеров, чтобы алгоритм понял суть. 

Разговор с Тьюрингом и генерация кода: что умеет нейросеть GPT-3

Благодаря большому объему данных и количеству параметров у GPT-3 много вариантов использования. Вот некоторые из них:

Поисковая система, которая умеет отвечать на вопросы — Google для вопросов и ответов. Введите вопрос, а GPT-3 ответит на него и даст ссылку на источник информации.

Чат-бот для разговора с историческими личностями. GPT-3 обучали на большом количестве книг, поэтому алгоритм может говорить от имени философа Бертрана Рассела и объяснять его взгляды. Еще GPT-3 может написать диалог между учеными Аланом Тьюрингом и Клодом Шенноном, в котором будут присутствовать реплики из Гарри Поттера. 

Генерация кода на основе текстовых описаний. Опишите словами, что вы хотите получить: например, макет веб-страницы с формой подписки. GPT-3 выдаст соответствующий код. 

Ответы на медицинские вопросы. Студент-медик из Великобритании использовал GPT-3, чтобы ответить на вопросы медицинского теста. Программа дала правильный ответ и обосновала его.

Стилизация текста. GPT-3 может изменить стиль текста: например, переписать его «юридическим» языком. Один из пользователей привел пример, как с помощью GPT-3 фраза «мой арендодатель не следил за домом» превратилась в «ответчик допустил, чтобы недвижимость пришла в негодность и не соблюдал государственные и местные нормы и правила в области здравоохранения и безопасности».

Генерация музыки. Аккорды для гитары записываются с помощью текста — поэтому тоже могут быть данными для обучения GPT-3. Алгоритм может сгенерировать музыку, если показать ему для примера несколько аккордов. 

Написание художественных текстов. GPT-3 может писать стихи и прозу в стиле известных писателей.

Нейросети и «ошибка выжившего»

Результаты работы GPT-3 впечатляют, но есть и обратная сторона. В соцсетях и статьях мы видим только успешные примеры и рискуем совершить так называемую «ошибку выжившего» — оставить неудачные тексты вне поля зрения. 

Ученый Делип Рао писал, что предприниматели из Кремниевой долины рекламируют потенциал GPT-3 и рассказывают только о положительных результатах работы алгоритма. Даже сооснователь OpenAI Сэм Альтман летом назвал ажиотаж вокруг GPT-3 избыточным. 

Внимательный анализ текстов GPT-3 показывает, что программа допускает ошибки, которые никогда не сделает человек. Кроме того, алгоритм генерирует много бессмысленных текстов.

OpenAI — некоммерческая организация, но она планирует в будущем зарабатывать на своих технологиях. Компании уже экспериментируют с API GPT-3 для различных целей; от создания чат-ботов до модерации контента. Как ошибки программы повлияют на коммерциализацию GPT-3? Кому понадобится чат-бот, который оскорбляет клиентов? Смогут ли разработчики использовать написанный программой код или он потребует множества исправлений? 

Один из специалистов Google в разговоре с The Verge отметил, что считает GPT-3 алгоритмом, способным решать только тривиальные задачи. Он добавил, что другие нейросети тоже справляются с такими задачами и выразил сомнение в возможности OpenAI коммерциализировать GPT-3.

Еще одна актуальная проблема алгоритмов генерации текста — создание оскорбительного контента. Директор по искусственному интеллекту в Nvidia Анима Анандкумар отмечает, что некоторые модели обработки естественного языка в том числе обучались на данных форума Reddit — и в итоге создавали «шокирующе предвзятый» текст. Так, алгоритм GPT-2 генерировал сексистские и расистские фразы.

Похожие опасения выражает и глава отдела искусственного интеллекта в Facebook Джером Пезенти. Он предложил OpenAI быть осторожнее с внедрением программы. Сэм Альтман ответил ему, что GPT-3 еще не готова к полноценному запуску, а OpenAI добавила в бета-версию программы фильтр токсичности.

Перспективы алгоритмов генерации текста

В то же время, специалисты в области машинного обучения указывают, что ошибки и предвзятость — не вина алгоритма.

Отсутствие контроля человека позволило масштабировать алгоритм обработки естественного языка, иначе работа потребовала бы огромных ресурсов. Но без этого контроля система пока не может отделить токсичные сообщения от приемлемых. 

Среди исследователей нет единого мнения, как дальше будут развиваться алгоритмы генерации текста. Некоторые считают, что мы приближаемся к пределу возможностей языковых моделей.

Другие говорят, что еще есть возможности для улучшения. Они считают, что количество данных и объем вычислительных мощностей будут расти — и модели, которые появятся после GPT-3, будут еще умнее. 

Писатель и исследователь Гверн Бранверн считает, что многие ошибки в выдаче GPT-3 можно исправить, если дать программе правильные подсказки. Он приводит пример ошибки GPT-3: алгоритм спросили, что тяжелее — тостер или карандаш. Ответ GPT-3: «Карандаш тяжелее тостера». По словам Бранвена, алгоритм даст правильный ответ, если перед вопросом получит определенные подсказки: например, что чайник тяжелее кошки, а океан тяжелее пыли. 

У GPT-3 есть правильные ответы — надо только знать, где искать, заключает Бранвен.

Источник.

Фото на обложке: Panuwatccn / Shutterstock