Сбер внедрил в ГигаЧат модель GigaChat Audio — теперь нейросеть качественнее работает с аудио и понимает интонации
Модель может обрабатывать записи длиной до трех часов и ориентироваться внутри них
2 минуты
В ИИ-помощнике ГигаЧат появилась обновленная аудиомодель GigaChat Audio, сообщила пресс-служба Сбера. GigaChat Audio обрабатывает аудиофайлы и голосовые сообщения без предварительного перевода речи в текст, распознает интонацию пользователя и работает с длинными записями. В открытый доступ Сбер выложил облегченную версию GigaChat3.1-Audio-10B.
Модель может проанализировать запись и перессказать нужный фрагмент
GigaChat Audio обрабатывает записи длиной до трех часов. Пользователь может:
- найти в записи момент, где обсуждали конкретный вопрос;
- запросить пересказ отдельного фрагмента;
- получить саммари записи со ссылками на таймкоды;
- разделить участников разговора по голосам.
Кроме того, нейросеть может провести разбор совещаний и звонков и составить навигацию по записям.
ГигаЧат будет учитывать эмоции пользователя
Обновленная модель распознает позитивную или негативную эмоцию по интонации, характеристикам голоса и особенностям произношения.
ГигаЧат будет учитывать эмоциональную окраску голосового запроса и подбирать тон ответа: мягче реагировать на раздражение или поддерживать пользователя, который делится хорошей новостью.
Разработчики смогут использовать облегченную версию модели
Команда Сбера выложила в открытый доступ облегченную версию GigaChat3.1-Audio-10B. Модель распознает русский, английский и другие языки. На ее основе можно создавать сервисы транскрибации, инструменты для оценки качества озвучки, голосовые переводчики и сервисы пересказа длинных записей.
По данным внутренних тестов Сбера, GigaChat Audio набрала 75% побед в . Точность распознавания эмоций компания оценивает в 80%.