Top.Mail.Ru
Колонки

От секретаря до бухгалтера: как NLP помогает сокращать издержки бизнеса

Колонки
Владимир Васильев
Владимир Васильев

Академический руководитель онлайн-магистратуры Skillfactory и ТГУ «Анализ естественного языка в лингвистике и IT»

Анастасия Удальцова

Большие языковые модели уже подбирают метафоры, подсказывают идеи и даже пишут код для узкоспециализированных задач.

Как еще эти разработки помогают бизнесу сегодня и почему компаний рассчитывают, что AI и ML помогут им увеличить доходы, рассказывает академический руководитель онлайн-магистратуры Skillfactory и ТГУ «Анализ естественного языка в лингвистике и IT» Владимир Васильев.

От секретаря до бухгалтера: как NLP помогает сокращать издержки бизнеса

Рынок науки данных

Natural Language Processing отвечает за обработку естественного языка. На основе технологий из этой области Data Science с вами взаимодействуют виртуальные ассистенты вроде Алисы, Маруси, Салют.

На технологиях NLP основаны все большие языковые модели: 

  • ChatGPT, 
  • Bard, 
  • LLaMa,
  • GigaChat. 
Все сервисы и компании, связанные с релокацией, на одной карте

Natural Language Processing используют и в более узких сферах. Например, алгоритмы способны создавать финансовую отчетность. 

  • Рост бюджетов на NLP в 2021 году составил минимум 10% для 60% технологических лидеров, свидетельствует опрос John Snow Labs и Gradient Flow. 
  • Треть (33%) отметили, что их бюджеты на NLP выросли не менее чем на 30% по сравнению с 2020 годом. 

Отчет Market Research Future указывает на возможный рост рынка NLP на 27,6% с 2022 по 2030 год. Ожидается, что к 2030 году рынок достигнет примерно $357,7 млрд. 

Сегодня Natural Language Processing — одна из самых востребованных областей в Data Science. Она развивается наряду с классическим Machine Learning и Computer Vision. Направление отвечает за то, чтобы все произнесенное, написанное и услышанное можно было перевести в текст и обработать с помощью NLP-алгоритмов. 

Именно специалисты по NLP обучают языковые модели и виртуальных ассистентов быть более интеллектуальными, понимающими контекст и дающими релевантные ответы. 


Читайте по теме: 23 полезные нейросети — сервисы для перевода, презентаций, аналитики и создания контента


Крупные компании и исследователи в разных странах сейчас работают над обучением больших языковых моделей экспертизе в разных отраслях жизни. 

  • В Китае ИИ применяют в пилотных зонах инноваций, 
  • В США грантами поддерживают отрасли, использующие ИИ. 

Работа по развитию ИИ идет активно: в перспективе ближайших нескольких лет мы вплотную подойдем к ответу на вопрос, возможно ли создать общий искусственный интеллект (AGI), схожий или превосходящий по своим возможностям интеллект естественный. 

 

Как бизнес использует NLP сегодня

В основном уровень развития AI-моделей помогает бизнесу оптимизировать процессы, автоматизировать рутинные операции и сокращать издержки, а в отдельных бизнес-функциях вроде маркетинга — даже генерировать прибыль.

Например, 

  • NLP-алгоритмы в рекомендательных системах помогают маркетологам оптимизировать кампании, 
  • другие алгоритмы могут закупать рекламу на всевозможных площадках вроде платформы Albert и помогать анализировать целевую аудиторию. 

87% компаний рассчитывают, что ИИ и машинное обучение помогут им увеличить доходы, повысить операционную эффективность и улучшить качество сервиса для клиентов. 

Вот как компании уже используют NLP-алгоритмы. 

 

Отбор актуальных новостей и поиск инсайтов из текстов

Алгоритмы автоматически находят и выделяют ключевые отраслевые новости, помогая компаниям оставаться в курсе событий. Это упрощает анализ, в сферах международной торговли, медицинских исследований или финансов. 


Читайте также: Нейросети в PR: 9 вариантов, как их использовать


 

Распознавание документов

Современные алгоритмы способны распознавать напечатанный и даже рукописный текст. Это направление развивается в медицине, например, когда нужно систематизировать рукописные анамнезы пациентов. 

Эту же технологию применяют компании, которые занимаются составлением генеалогического древа — для «изучения» архивных документов или перевода с одного языка на другой. 


Читайте по теме: Как искусственный интеллект помогает расшифровывать древние архивы Ватикана


 

Поиск оптимальных цен 

Некоторые компании обучают модели искать оптимальные цены для закупок, агрегируя множество предложений. 

Алгоритмы способны:

  • объединять компании со схожими потребностями, 
  • создавать кумулятивные заказы для нескольких из них,
  • получать скидку за счет объема, получая синергию в закупках. 

Сотрудники, которые ранее делали отбор ценовых предложений в течение нескольких недель, теперь могут решать более интересные задачи.

В 2018 году Asos увеличил объем заказов на 300% благодаря fashion-боту Enki. С новым чат-ботом возврат инвестиций составил 250%, охватив в 3,5 раза больше потенциальных покупателей.

 

Понимание запросов пользователей

Крупный бизнес постепенно переводит типовые запросы пользователей вроде «где мой заказ», «когда будет доставка», «позвоните мне» с живых специалистов на виртуальных ассистентов или на телефонных голосовых помощников.

Удовлетворенность клиентов иногда падает, но они быстрее получают ответы, а компания экономит за счет снижения фонда оплаты труда. 


Читайте по теме: Битва нейросетей: Midjourney, DALL-E, Kandinsky и «Шедеврум»


В апреле 2023 года онлайн-ритейлер Lamoda запустил усовершенствованный поиск в каталоге с помощью нейросети. Новая система анализирует предпочтения пользователя, поднимая наиболее релевантные товары в верхнюю часть поисковой выдачи. 

 

Стенография и резюмирование

Основанные на NLP языковые модели уже способны:

  • записать стенограмму важного совещания, 
  • выделить ключевые вопросы,
  • выдать итоговый протокол или главные выводы совещания. 

 

Документооборот

В российском налоговом праве множество типов первичной документации: 

  • акты, 
  • счета, 
  • счета-фактуры, 
  • торг-12, 
  • универсальные передаточные документы. 

Если в процессе сотрудничества у одной из компаний, например, изменились реквизиты, их нужно исправить во всех отчетных документах. Алгоритмы помогают выявить такие данные, распознать, извлечь информацию и проверить перед оплатой счетов. 

В крупных компаниях такой сверкой данных могут заниматься департаменты из сотен человек, а с использованием алгоритмов таких сотрудников можно перевести на другие задачи. 


Читайте также: Как компании по разработке игр применяют искусственный интеллект и нейросети?


Вместе с тем использование NLP в бизнес-сфере может вызвать несколько этических и конфиденциальных вопросов. Обработка текстов часто подразумевает использование персональных данных, которые необходимо защитить от несанкционированного доступа. 

 

Следующий шаг

Сейчас интерес к NLP особенно высок на фоне стремительного развития так называемых больших языковых моделей (LLM, Large Language Models).

Современные LLM действительно впечатляют пользователей по всему миру возможностью разговаривать человеческим языком и давать правдоподобные ответы на самые разные вопросы, хоть и не всегда правильные.

Пока языковым моделям все же сложно решать нетривиальные задачи, поскольку они не обучены логически и критически мыслить. В основном LLM распознают запрос и предлагают наиболее вероятный ответ на него с учетом данных, на которых модель обучили. Чем качественнее поработали NLP-инженеры, тем более естественным и применимым получается результат. 

Сейчас специалистам предстоит обучить модели давать правильные ответы на комплексные и нетривиальные запросы пользователей. Эти модели должны уметь извлекать ответы из отраслевых узкоспециализированных источников знаний и глубоко разбираться в специфике разных сфер жизни и отраслей экономики. 

Они должны владеть так называемой доменной экспертизой. 

Допустим, владелец квартиры столкнулся с ситуацией, когда его жилье затопили из-за прорыва трубы в соседнем помещении. Он сможет попросить виртуального ассистента составить обращение в управляющую компанию. 

Раньше подобные модели могли дать информационную справку о том, что нужно сделать пользователю, но не решали его конечную проблему. 

Современная LLM, обладающая доменной экспертизой в области недвижимости и права, должна уметь правильно структурировать жалобу, указать на соответствующие законодательные нормы и предоставить рекомендации по дальнейшим действиям. 

Таким образом, владелец квартиры:

  • получает готовое обращение, которое модель сама может направить в управляющую компанию, 
  • понимает, как действовать после этого.

Большая языковая модель должна избавить пользователя от большой траты времени, сил и ненужного вовлечения в сложные бюрократические процедуры и тонкости юриспруденции. 

Процесс обучения больших языковых моделей в NLP узкоспециализированным доменным знаниям, например, юридическим или медицинским может осложниться недостатком данных — для обучения моделей NLP требуются большие объемы информации. А в случае узкоспециализированных доменов может быть ограниченное количество доступных формализованных и оцифрованных данных. 

Барьером может стать сложность языка: юридические и медицинские тексты могут содержать нераспространенные термины и фразы, которые могут быть поняты двусмысленно. 

Бороться с заболеваниями ИИ уже помогает. 


Читайте по теме: Нейросеть помогла ученым прочитать мысли


В 2020 году разработчики NLP активно боролись с коронавирусом. 

  1. Компания BlueDot с помощью ИИ предупредила о вспышке в Ухани до официальных заявлений ВОЗ. 
  2. Microsoft и Allen Institute for AI представили датасет CORD-19 с академическими статьями о коронавирусе. 
  3. Alibaba разработала систему, которая за 20 секунд диагностирует коронавирус с 96% точностью по томографии легких. 

Сложности наращивания доменной экспертизы связаны с дисбалансом оцифрованной узкоспециализированной информации, когда информации по отдельным темам в открытых источниках меньше, чем по другим.

Кроме того, в юридических и медицинских текстах может содержаться конфиденциальная и чувствительная информация, персональные данные, которые необходимо защитить.

Для преодоления этих вызовов и трудностей необходимо:

  • приглашать экспертов из разных сфер нашей жизни (доменов), 
  • формализовывать и оцифровывать их профильные знания, 
  • затем обучать на основе их экспертизы большие языковые модели. 

Необходимо заставлять модели при принятии решений и выдаче ответов пользователям учитывать не только данные, на которых она была обучена или открытые данные из интернета, но и специализированные верифицированные базы знаний, то есть по сути научить машину критически мыслить. 

 

Перспективы обработки естественного языка в России

Обработка естественного языка — ключевой элемент в автоматизации и оптимизации бизнес-процессов. С помощью NLP компании могут:

  1. Анализировать огромные объемы данных;
  2. Изучать отзывы клиентов;
  3. Адаптироваться к рыночным условиям. 

NLP помогает автоматизировать службы поддержки, сокращая операционные затраты и повышая уровень удовлетворенности клиентов.

Технологии на основе NLP масштабируемы и применимы в различных отраслях экономики. Рынок проявляет интерес: Kandinsky 2.1 достигла 1 млн уникальных пользователей всего за первые четыре дня.

Рынок разговорного ИИ в России активно растет. Ожидается, что к 2025 году он достигнет $561 млн, отмечает Just AI. 

 

Фото на обложке: Unsplash

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 AI для HR: профиль кандидата, который повысит скорость найма в два раза
  2. 2 Эволюция ML-сервисов в микрофинансовых организациях и советы по внедрению
  3. 3 Машины не восстанут, но вылететь с работы можно: разбираемся, зачем осваивать нейросети
  4. 4 Мнение эксперта: Игорь Пивоваров о том, что происходит с OpenAI
  5. 5 «Доверять нельзя бояться». Как работают нейросети в беспилотных автомобилях
ArtTech — карта разработчиков арт-технологий
Все игроки российского рынка технологий для искусства
Перейти