Будущее копирайтинга: сможет ли робот конкурировать с людьми

Интересный эксперимент

Старший вице-президент по стратегии Salesforce Мартин Кин провел тест, в котором объединил рекламный текст Super Bowl и языковую модель с открытым исходным кодом GPT-2. Она была создана исследовательской компанией OpenAI, одним из основателей которой является Илон Маск. В эксперименте также использовалась библиотека PPLM, разработанная Uber Engineering.

На загрузку и изучение моделей Кину потребовалось около часа. Примерно за пять минут GPT-2 разработала 20 «‎идей» всего из нескольких подсказок (выделены курсивом). Машине даже не потребовался перерыв на обед.

Вот наиболее интересные фрагменты.

• When I'm thirsty, I go with water. When I'm hungry, I drink beer. / Когда я хочу пить, я пью воду. Когда я голодна, я пью пиво.
• It wasn't me who made the decision. It was the people on Reddit! / Не я принимала это решение. Это были люди на Reddit!
• Wow no cow, no beef. This was so good it even tasted like bacon. / Вау, ни коровы, ни говядины. Это было настолько хорошо, что даже напоминало бекон.

За последние несколько лет в сфере генерации текста произошел значительный прорыв. Лучшие робописатели напоминают полных энтузиазма начинающих копирайтеров — их силы неисчерпаемы, а выдают они креативные, но неидеальные работы.

Новое поколение робописателей

Изначально создатели модели GPT-2 настолько боялись, что ее возможности попадут не в те руки, что отказывались ее выпускать. Сейчас они сотрудничают с научным сообществом, чтобы ограничить доступ для злоумышленников. Алгоритм третьего поколения GPT-3 доступен для применения в качестве API. В конце прошлого года лицензию на полную модель получила Microsoft, крупнейший инвестор OpenAI.

Самая большая настройка GPT-3 включает 175 млрд параметров. Их можно сравнить с небольшим рычагами, которые модели нужно настроить, основываясь на примерах человеческих текстов, чтобы предсказать следующее слово в предложении. В феврале Google открыла исходный код более крупной текстовой модели Switch Transformer, которая, как сообщается, включает более 1 трлн параметров.

Если предоставить GPT-3 подсказки, например «‎Давным-давно…» или «‎Это не я…», модель сгенерирует довольно правдоподобный текст, местами даже немного жуткий. Прошлым летом вокруг ее возможностей произошел огромный ажиотаж. Исполнительный директор OpenAI Сэм Альтман даже написал пост в Twitter, в котором попытался заверить людей в серьезных недостатках GPT-3. Однако наибольшее беспокойство исходило не со стороны писателей и поэтов, а программистов. Компьютерный код также является языком, на котором способна писать модель.

В этом и заключается главное отличие нового поколения робописателей: это гибкие модели, граничащие с областью общего искусственного интеллекта (Artificial General Intelligent — AGI). Она не натренирована на какой-либо конкретной дисциплине, но способна обучаться. GPT-3, по-видимому, хорошо справляется с целым рядом лингвистических задач — от перевода до общения. Использование такого инструмента для создания креативных подсказок, которые затем будут обрабатываться человеком, принесет много пользы рекламному копирайтингу.

Обучение и текущие способы применения

ИИ-агенты заметно лучше стали диагностировать переломы и управлять дронами, но в креативном пространстве их способности все еще невелики. Тем не менее робописатели уже работают в некоторых новостных отделах. Пока они в основном занимаются обзорами на спортивные соревнования в средних школах, пишут о погоде и анализируют фондовый рынок, выпуская достаточно стандартные тексты.

Чтобы получить прибыль, OpenAI применяет довольно грубый подход к этой инновации. Два года назад компания получила известность благодаря разработке машины, способной победить лучших в мире игроков в видеоигре Dota 2. Программные агенты обучались методов проб и ошибок, а длительность тренировки составила 45 тысяч часов.

Семейство инструментов GPT разрабатывалось на основе массивного объема данных. Для GPT-3 использовались миллионы документов в открытой сети, включая Wikipedia и библиотеки самиздатовских книг. На основе этого текста модель выстраивает словарный запас из 50 тысяч слов. Ее веса предсказывают следующее слово с учетом предыдущих, развивая метаобучение, выходящее за рамки простого запоминания. Для этого ей потребуется подсказка, а руководствоваться она будет образцами текста, предоставляющими контекст.

GPT-3 может с легкостью сгенерировать разумный фрагмент текста из такой подсказки, как «‎Страховка автомобиля — это…», а также создавать последовательный текст на основе сценариев боевиков и сюжетов комиксов. При этом творения модели не являются простым плагиатом. Она учится предсказывать слова на основе того, что уже написано другими, что делает ее прозу предсказуемой. Однако на деле так поступают большинство писателей.

Прогнозы на будущее

У GPT-3 есть и некоторые ограничения. После примерно 800 слов она забывает изначальный контекст, а поэтому лучше подходит для небольших текстов. У нее короткая продолжительность концентрации внимания, как и у человека.

По этой причине люди, которым удалось подробнее ознакомиться с моделью, уже не так впечатлены ее возможностями. Как сказал один из тестировщиков: «‎По мере прочтения все большего числа примеров GPT-3, особенно длинных текстов, первоначальный энтузиазм неизбежно угасает. На длинных фрагментах GPT-3, как правило, теряет мысль».

Однако рекламный копирайтинг создается методом проб и ошибок, а также нуждается во вдохновении. И, возможно, в будущем это вдохновение все чаще будет исходить от робота.

Источник.