Сбер внедрил в ГигаЧат модель GigaChat Audio — теперь нейросеть качественнее работает с аудио и понимает интонации

Модель может проанализировать запись и перессказать нужный фрагмент

GigaChat Audio обрабатывает записи длиной до трех часов. Пользователь может:

• найти в записи момент, где обсуждали конкретный вопрос;
• запросить пересказ отдельного фрагмента;
• получить саммари записи со ссылками на таймкоды;
• разделить участников разговора по голосам.

Кроме того, нейросеть может провести разбор совещаний и звонков и составить навигацию по записям.

ГигаЧат будет учитывать эмоции пользователя

Обновленная модель распознает позитивную или негативную эмоцию по интонации, характеристикам голоса и особенностям произношения.

ГигаЧат будет учитывать эмоциональную окраску голосового запроса и подбирать тон ответа: мягче реагировать на раздражение или поддерживать пользователя, который делится хорошей новостью.

Разработчики смогут использовать облегченную версию модели

Команда Сбера выложила в открытый доступ облегченную версию GigaChat3.1-Audio-10B. Модель распознает русский, английский и другие языки. На ее основе можно создавать сервисы транскрибации, инструменты для оценки качества озвучки, голосовые переводчики и сервисы пересказа длинных записей.

По данным внутренних тестов Сбера, GigaChat Audio набрала 75% побед в Arena Hard Audio*Arena Hard Audio — тест, в котором нейросети вслепую сравнивают ответы разных моделей на одинаковые голосовые вопросы.. Точность распознавания эмоций компания оценивает в 80%.