«Яндекс» научил генератор текстов «Балабоба» работать с английским языком

«Балабоба» генерирует тексты с помощью языковой модели «Яндекса» YaLM, которая решает задачи по обработке естественного языка. Модели YaLM используются, в частности, для «Алисы», улучшают описания заказов на «Услугах», генерируют карточки для быстрых ответов в «Поиске».

Пользователю достаточно написать одно-два слова на русском или английском языках и выбрать один из стилей, после чего «Балабоба» создаст осмысленный текст на любую тему, похожий на тексты из интернета, на которых училась модель.

Генератор текстов может написать короткую историю, придумать рецепт, инструкцию или народную мудрость. По названию фильма «Балабоба» напишет к нему сюжет.

Учитывать языковые правила и подбирать подходящие слова «Балабобе» позволяют заложенные внутри модели параметры — они меняются в зависимости от того, правильно или неправильно предсказывается слово. В семействе языковых моделей YaLM может быть от 1 млрд до 100 млрд параметров.

«Яндекс» запустил «Балабобу» в июне 2021 года. Нейросеть обучена на базе 3 млрд параметров. Чтобы тексты были грамматически правильными и лексически разнообразными, YaLM обучали на части страниц «Википедии», новостных статьях, книгах и на открытых записях пользователей социальных сетей и форумов.

Фото на обложке: Unsplash