От секретаря до бухгалтера: как NLP помогает сокращать издержки бизнеса

Рынок науки данных

Natural Language Processing отвечает за обработку естественного языка. На основе технологий из этой области Data Science с вами взаимодействуют виртуальные ассистенты вроде Алисы, Маруси, Салют.

На технологиях NLP основаны все большие языковые модели: 

• ChatGPT, 
• Bard, 
• LLaMa,
• GigaChat. 

Natural Language Processing используют и в более узких сферах. Например, алгоритмы способны создавать финансовую отчетность. 

• Рост бюджетов на NLP в 2021 году составил минимум 10% для 60% технологических лидеров, свидетельствует опрос John Snow Labs и Gradient Flow. 
• Треть (33%) отметили, что их бюджеты на NLP выросли не менее чем на 30% по сравнению с 2020 годом. 

Отчет Market Research Future указывает на возможный рост рынка NLP на 27,6% с 2022 по 2030 год. Ожидается, что к 2030 году рынок достигнет примерно $357,7 млрд. 

Сегодня Natural Language Processing — одна из самых востребованных областей в Data Science. Она развивается наряду с классическим Machine Learningмашинное обучение и Computer Visionкомпьютерным зрением. Направление отвечает за то, чтобы все произнесенное, написанное и услышанное можно было перевести в текст и обработать с помощью NLP-алгоритмов. 

Именно специалисты по NLP обучают языковые модели и виртуальных ассистентов быть более интеллектуальными, понимающими контекст и дающими релевантные ответы. 

Читайте по теме: 23 полезные нейросети — сервисы для перевода, презентаций, аналитики и создания контента

Крупные компании и исследователи в разных странах сейчас работают над обучением больших языковых моделей экспертизе в разных отраслях жизни. 

• В Китае ИИ применяют в пилотных зонах инноваций, 
• В США грантами поддерживают отрасли, использующие ИИ. 

Работа по развитию ИИ идет активно: в перспективе ближайших нескольких лет мы вплотную подойдем к ответу на вопрос, возможно ли создать общий искусственный интеллект (AGI), схожий или превосходящий по своим возможностям интеллект естественный. 

Как бизнес использует NLP сегодня

В основном уровень развития AI-моделей помогает бизнесу оптимизировать процессы, автоматизировать рутинные операции и сокращать издержки, а в отдельных бизнес-функциях вроде маркетинга — даже генерировать прибыль.

Например, 

• NLP-алгоритмы в рекомендательных системах помогают маркетологам оптимизировать кампании, 
• другие алгоритмы могут закупать рекламу на всевозможных площадках вроде платформы Albert и помогать анализировать целевую аудиторию. 

Вот как компании уже используют NLP-алгоритмы. 

Отбор актуальных новостей и поиск инсайтов из текстов

Алгоритмы автоматически находят и выделяют ключевые отраслевые новости, помогая компаниям оставаться в курсе событий. Это упрощает анализ, в сферах международной торговли, медицинских исследований или финансов. 

Читайте также: Нейросети в PR: 9 вариантов, как их использовать

Распознавание документов

Современные алгоритмы способны распознавать напечатанный и даже рукописный текст. Это направление развивается в медицине, например, когда нужно систематизировать рукописные анамнезы пациентов. 

Эту же технологию применяют компании, которые занимаются составлением генеалогического древа — для «изучения» архивных документов или перевода с одного языка на другой. 

Читайте по теме: Как искусственный интеллект помогает расшифровывать древние архивы Ватикана

Поиск оптимальных цен 

Некоторые компании обучают модели искать оптимальные цены для закупок, агрегируя множество предложений. 

Алгоритмы способны:

• объединять компании со схожими потребностями, 
• создавать кумулятивные заказы для нескольких из них,
• получать скидку за счет объема, получая синергию в закупках. 

Сотрудники, которые ранее делали отбор ценовых предложений в течение нескольких недель, теперь могут решать более интересные задачи.

В 2018 году Asos увеличил объем заказов на 300% благодаря fashion-боту Enki. С новым чат-ботом возврат инвестиций составил 250%, охватив в 3,5 раза больше потенциальных покупателей.

Понимание запросов пользователей

Крупный бизнес постепенно переводит типовые запросы пользователей вроде «где мой заказ», «когда будет доставка», «позвоните мне» с живых специалистов на виртуальных ассистентов или на телефонных голосовых помощников.

Удовлетворенность клиентов иногда падает, но они быстрее получают ответы, а компания экономит за счет снижения фонда оплаты труда. 

Читайте по теме: Битва нейросетей: Midjourney, DALL-E, Kandinsky и «Шедеврум»

В апреле 2023 года онлайн-ритейлер Lamoda запустил усовершенствованный поиск в каталоге с помощью нейросети. Новая система анализирует предпочтения пользователя, поднимая наиболее релевантные товары в верхнюю часть поисковой выдачи. 

Стенография и резюмирование

Основанные на NLP языковые модели уже способны:

• записать стенограмму важного совещания, 
• выделить ключевые вопросы,
• выдать итоговый протокол или главные выводы совещания. 

Документооборот

В российском налоговом праве множество типов первичной документации: 

• акты, 
• счета, 
• счета-фактуры, 
• торг-12, 
• универсальные передаточные документы. 

Если в процессе сотрудничества у одной из компаний, например, изменились реквизиты, их нужно исправить во всех отчетных документах. Алгоритмы помогают выявить такие данные, распознать, извлечь информацию и проверить перед оплатой счетов. 

В крупных компаниях такой сверкой данных могут заниматься департаменты из сотен человек, а с использованием алгоритмов таких сотрудников можно перевести на другие задачи. 

Читайте также: Как компании по разработке игр применяют искусственный интеллект и нейросети?

Вместе с тем использование NLP в бизнес-сфере может вызвать несколько этических и конфиденциальных вопросов. Обработка текстов часто подразумевает использование персональных данных, которые необходимо защитить от несанкционированного доступа. 

Следующий шаг

Сейчас интерес к NLP особенно высок на фоне стремительного развития так называемых больших языковых моделей (LLM, Large Language Models).

Современные LLM действительно впечатляют пользователей по всему миру возможностью разговаривать человеческим языком и давать правдоподобные ответы на самые разные вопросы, хоть и не всегда правильные.

Пока языковым моделям все же сложно решать нетривиальные задачи, поскольку они не обучены логически и критически мыслить. В основном LLM распознают запрос и предлагают наиболее вероятный ответ на него с учетом данных, на которых модель обучили. Чем качественнее поработали NLP-инженеры, тем более естественным и применимым получается результат. 

Сейчас специалистам предстоит обучить модели давать правильные ответы на комплексные и нетривиальные запросы пользователей. Эти модели должны уметь извлекать ответы из отраслевых узкоспециализированных источников знаний и глубоко разбираться в специфике разных сфер жизни и отраслей экономики. 

Допустим, владелец квартиры столкнулся с ситуацией, когда его жилье затопили из-за прорыва трубы в соседнем помещении. Он сможет попросить виртуального ассистента составить обращение в управляющую компанию. 

Раньше подобные модели могли дать информационную справку о том, что нужно сделать пользователю, но не решали его конечную проблему. 

Современная LLM, обладающая доменной экспертизой в области недвижимости и права, должна уметь правильно структурировать жалобу, указать на соответствующие законодательные нормы и предоставить рекомендации по дальнейшим действиям. 

Таким образом, владелец квартиры:

• получает готовое обращение, которое модель сама может направить в управляющую компанию, 
• понимает, как действовать после этого.

Большая языковая модель должна избавить пользователя от большой траты времени, сил и ненужного вовлечения в сложные бюрократические процедуры и тонкости юриспруденции. 

Процесс обучения больших языковых моделей в NLP узкоспециализированным доменным знаниям, например, юридическим или медицинским может осложниться недостатком данных — для обучения моделей NLP требуются большие объемы информации. А в случае узкоспециализированных доменов может быть ограниченное количество доступных формализованных и оцифрованных данных. 

Барьером может стать сложность языка: юридические и медицинские тексты могут содержать нераспространенные термины и фразы, которые могут быть поняты двусмысленно. 

Бороться с заболеваниями ИИ уже помогает. 

Читайте по теме: Нейросеть помогла ученым прочитать мысли

В 2020 году разработчики NLP активно боролись с коронавирусом. 

1. Компания BlueDot с помощью ИИ предупредила о вспышке в Ухани до официальных заявлений ВОЗ. 
2. Microsoft и Allen Institute for AI представили датасет CORD-19 с академическими статьями о коронавирусе. 
3. Alibaba разработала систему, которая за 20 секунд диагностирует коронавирус с 96% точностью по томографии легких. 

Сложности наращивания доменной экспертизы связаны с дисбалансом оцифрованной узкоспециализированной информации, когда информации по отдельным темам в открытых источниках меньше, чем по другим.

Кроме того, в юридических и медицинских текстах может содержаться конфиденциальная и чувствительная информация, персональные данные, которые необходимо защитить.

Для преодоления этих вызовов и трудностей необходимо:

• приглашать экспертов из разных сфер нашей жизни (доменов), 
• формализовывать и оцифровывать их профильные знания, 
• затем обучать на основе их экспертизы большие языковые модели. 

Необходимо заставлять модели при принятии решений и выдаче ответов пользователям учитывать не только данные, на которых она была обучена или открытые данные из интернета, но и специализированные верифицированные базы знаний, то есть по сути научить машину критически мыслить. 

Перспективы обработки естественного языка в России

Обработка естественного языка — ключевой элемент в автоматизации и оптимизации бизнес-процессов. С помощью NLP компании могут:

1. Анализировать огромные объемы данных;
2. Изучать отзывы клиентов;
3. Адаптироваться к рыночным условиям. 

NLP помогает автоматизировать службы поддержки, сокращая операционные затраты и повышая уровень удовлетворенности клиентов.

Технологии на основе NLP масштабируемы и применимы в различных отраслях экономики. Рынок проявляет интерес: Kandinsky 2.1 достигла 1 млн уникальных пользователей всего за первые четыре дня.

Рынок разговорного ИИ в России активно растет. Ожидается, что к 2025 году он достигнет $561 млн, отмечает Just AI. 

Фото на обложке: Unsplash