Ученые совершили прорыв в сжатии языковых моделей

Новый подход, получивший название HIGGS (от англ. Hadamard Incoherence with Gaussian MSE-optimal GridS), позволяет использовать LLM на обычных устройствах, таких как смартфоны и ноутбуки, что делает технологии на основе ИИ доступнее для малого бизнеса, стартапов и исследователей.

Как работает метод HIGGS. Метод HIGGS основан на квантизации — сжатии моделей с сохранением их функциональности. Это позволяет уменьшить размер LLM, таких как DeepSeek-R1 (671 млрд параметров) и Llama 4 Maverick (400 млрд параметров), и запускать их на устройствах с ограниченными вычислительными ресурсами. Ранее для работы с такими моделями требовались мощные серверы и графические ускорители (GPU), что делало их использование дорогостоящим.

Преимущества для бизнеса и науки. «Теперь даже небольшие компании, стартапы и исследователи смогут использовать мощные модели на обычных устройствах — таких, как смартфоны и ноутбуки. Это открывает двери для инноваций в самых разных областях: от образования и медицины до социальных услуг и технологических стартапов», — отмечает представитель НИУ ВШЭ. Метод также ускоряет процесс разработки, позволяя быстрее тестировать и внедрять новые решения.

Потенциал для рынка ИИ. По данным исследования «Будущее генИИ в странах БРИКС+», в 2024 году 54% российских компаний внедрили ИИ-решения. Новый метод может ускорить этот процесс, сделав технологии доступнее. Это поворотный момент, который позволит запускать больше экземпляров модели на тех же ресурсах, считает AI-евангелист, разработчик команды AI/ML «Битрикс24» Сергей Нотевский.

• Российские компании начали использовать ИИ для автоматизации процесса найма. В пресс-службе «Авито работы» рассказали, что 5% компаний уже системно применяют нейросети для подбора специалистов.

Фото на обложке: Sashkin / Shutterstock / FOTODOM