Персональный помощник в решении сложных задач: как бизнесу дообучить ИИ-модель

Возможности нейросетей для бизнеса

В апреле прошлого года McKinsey & Company провела опрос среди компаний из разных отраслей по всему миру на тему того, как они применяют генеративный ИИ. На тот момент с запуска нашумевшего ChatGPT от OpenAI прошло меньше года, а треть респондентов уже заявила, что регулярно использует ИИ в решении хотя бы одной бизнес-задачи. 

Сегодня многие компании так или иначе работают с генеративным ИИ. Сотрудники, в том числе руководители высшего звена, отмечают, что ИИ-инструменты помогают им быть более эффективными и креативными. Согласно совместному исследованию «Яндекса» и консалтинговой компании «Яков и Партнеры», наиболее популярные сферы применения генеративного ИИ у российского бизнеса — клиентский сервис, маркетинг и продажи, разработка ИТ-продуктов — что соответствует международному тренду. 

Алексей Долотов, CPO YandexGPT API

Если говорить о конкретных возможностях, то генеративный ИИ, в частности языковые модели, позволяет отвечать на комментарии и вопросы покупателей на маркетплейсах, за считанные минуты анализировать большой объем отзывов на продукт или услугу, автоматизировать работу сервисного центра или рекрутеров. То есть ИИ будет полезен бизнесу там, где нужно взаимодействовать с клиентами, классифицировать информацию, создавать различные тексты.

Например, «ВкусВилл» использовал нейросеть «Яндекса» для запуска чат-бота, который подбирает покупателям блюда по их предпочтениям, а финансовый маркетплейс «Банки.ру» — ИИ-бота для поиска документации по внутренней «Википедии» компании. Еще из интересного — «Вышка» разработала чат-бота, который поможет абитуриентам выбрать учебную программу на основе их интересов. Сервис заработал с 1 июня.

В конце марта этого года «Яндекс» представила первую модель нового поколения больших языковых моделей YandexGPT 3 Pro.  Ее особенность — в том, что она лучше своих предшественников решает сложные задачи и следует заданному формату ответа, что делает ее эффективным инструментом именно для бизнеса. Архитекторам удалось добиться этого за счет обучения модели на разных кейсах компаний из ИТ, банковского и энергетического секторов, промышленности, электронной коммерции и ритейла. 

Отметим, что подобные языковые ИИ-модели в целом универсальны и отлично справляются с широким спектром задач. Однако для отдельных сфер применения и специфических запросов базовую модель нужно дообучить.     

Зачем дообучать языковые модели

Генеративные модели могут многое: написать стихотворение, придумать кличку собаке или даже поддержать разговор на экзистенциальную тему. И для обычного пользователя здесь открывается широкое поле для экспериментов. Тогда как бизнесу нужно, чтобы языкова модель работала с конкретными прикладными задачами. Например, выявила наиболее важные факты из договора, определила тематику запроса, с которым клиент обратился в техподдержку, проанализировала информацию из бухгалтерского отчета.

И здесь важно, чтобы модель, во-первых, учитывала бы большое количество заданных условий (например, в каких ситуациях и как чат-бот должен отвечать клиенту, на какие данные ссылаться, на какие — нет и так далее); во-вторых, выдавала бы стабильный воспроизводимый результат при любых сценариях и данных. 

«Условно, если для обычного пользователя нормально доработать результат, выданный нейросетью: получить ответ, проверить его, подредактировать и сделать запрос еще раз — то в случае бизнес-пользователей такого быть не должно. Например, если нам всегда нужен ответ в формате JSON, то он всегда должен быть в формате JSON; если при суммаризации нам нужны пять пунктов, то в ответе всегда должно быть пять пунктов», — пояснил Алексей Долотов, CPO YandexGPT API.    

Дообучение ИИ-модели в целом оптимизирует процесс взаимодействия с ней. Допустим, когда у компании есть множество примеров, на которые модель должна ориентироваться, дообучение позволит больше не использовать их в промте и, как следствие, экономить на контексте и не ограничивать скорость работы нейросети. 

Что могут дообученные языковые модели:

• суммаризация — одна из популярных бизнес-задач. Например, у компании есть объемные описания сервисов, и ей также нужны емкие описания с ключевой информацией для подготовки презентации. Сотрудники могут научить модель сокращать длинные тексты, оставляя главные тезисы;
• классификация информации. ИИ-модель можно научить распределять обращения пользователей в клиентскую поддержку по разным категориям для дальнейшего анализа работы операторов;
• переписывание и стилизация текстов — когда компании нужно, чтобы различные тексты, которые она использует, в том числе при взаимодействии с клиентами, соответствовали внутреннему Tone of Voice или определенному формату.

«Самый распространенный сценарий применения ИИ-модели в клиентской поддержке — замена первой линии. Однако это далеко не все возможности: модель может стать своего рода тренажером для обучения операторов работать в нестандартных и провокационных ситуациях. Она не только попытается вывести на эмоции сотрудника, но и даст рекомендации, как себя лучше вести в такой ситуации, как отвечать и что точно делать не стоит, — добавляет Алексей Долотов, CPO YandexGPT API. — Дообученную ИИ-модель также можно применять для тестирования сотрудников на устойчивость к социальной инженерии, чтобы убедиться, что они достаточно бдительны и не выдадут конфиденциальную информацию, например. Или ИИ-модель может стать ведущим на рабочих совещаниях. Допустим, на повестке дня обсуждение нескольких вопросов. Когда на одном из них дискуссия затянется, модель подытожит и предложит перейти к следующему».  

Как уже было сказано, базовые модели работают с большим набором задач, но возможности дообученных куда шире: их можно подстроить под нужную категорию запросов бизнеса. И в целом какая бы умная языковая модель ни была, когда компания интегрирует ее в свой сервис, без дообучения не обойтись для гарантированно качественного результата.  

Как дообучить ИИ-модель

Для дообучения ИИ-модели не потребуется отдельный штат специалистов — достаточно сотрудников, которые умеют работать с данными, а сам процесс состоит всего из нескольких этапов. 

Если говорим о YandexGPT 3 Pro, то на первом нужно подготовить датасет в виде пар, состоящих из запроса к модели и эталонного ответа, и сохранить в формате JSON. Чтобы модель действительно начала понимать, что пользователь хочет получить в результате, понадобится около 1700–1800 пар.

Собранные запросы нужно классифицировать в зависимости от задачи — это называется стратифицированная выборка, а также проследить, чтобы количество запросов в каждой категории было примерно одинаковым. Важный нюанс: запросы для каждой задачи нельзя смешивать в одном обучении.

Что касается подготовки эталонных ответов, то, по словам Алексея Долотова, CPO YandexGPT API, процесс обучения модели идет хорошо, когда пользователь берет текст ответа, сгенерированный моделью, немного редактирует его и снова отдает системе. Например, если модель в целом отвечает хорошо, но не всегда в правильном формате. 

После того, как датасет собран, его нужно загрузить. В случае YandexGPT 3 Pro — через сервис Yandex DataSphere. Процесс обучения займет пару часов, после чего будет открыт доступ к дообученной модели как через API сервиса Yandex Foundation Models, так и в интерфейсе Yandex DataSphere. По умолчанию ее будут видеть только автор и его команда, но можно сделать и расширенный доступ. 

Дообучение языковых моделей имеет ряд преимуществ: процесс быстрый и не требует больших вычислительных мощностей, как при обучении ИИ-моделей с нуля, а также объемных датасетов — будет достаточно до 10 тысяч пар примеров. При этом дообучать модели можно под разные сценарии для эффективной работы бизнеса.

Фото на обложке: LariBat / Shutterstock