МТС выпустила «открытую» языковую модель для решения бизнес-задач

Модель подходит для написания статей, переводов между русским и английским языками, обработки и анализа текстовых данных, разработки чат-ботов, а также поиска и анализа информации в корпоративных базах знаний. «Cotype Nano способна обрабатывать контекст до 32,000 токенов (около 45 страниц текста) за раз, что позволяет работать с большими объемами данных», — утверждают в компании.

Там отметили, что новую модель можно запускать локально на смартфонах, компьютерах и ноутбуках даже со «средней производительностью». Согласно релизу, Cotype Nano — «открытая» модель, параметры, которые она использует для принятия решений, можно изучать и настраивать под конкретные задачи. 

Технические характеристики:

Cotype Nano включает 1,5 млрд параметров. Модель была обучена на специальных наборах данных, которые содержат компьютерный код, математические задачи и синтетическую информацию.

Скорость обработки текста (инференса) составляет около 190 токенов в секунду на графическом процессоре Nvidia A100 и 9,5 токенов в секунду на смартфоне с процессором Qualcomm Snapdragon 8 Gen 2.

Освободите время и увеличьте доход с помощью ИИ

Cotype Nano использует архитектуру трансформера Qwen 2.5 и поддерживает работу с популярными фреймворками, такими как VLLM, OpenVINO и Hugging Face.

Модель доступна для скачивания на Hugging Face.

Компании все чаще интегрируют большие языковые модели в свои бизнес-процессы, чтобы повысить их эффективность. Product-менеджер Just AI Алексей Борщов ранее рассказал в колонке на RB.RU о связанных с этим рисках и стратегиях безопасного внедрения технологий генеративного ИИ.

Фото на обложке: Unsplash