Ученые совершили прорыв в сжатии языковых моделей
Лаборатория исследований ИИ Yandex Research и партнеры из НИУ ВШЭ, Массачусетского технологического института (MIT), Научно-технологического университета имени короля Абдаллы (KAUST) и Австрийского института науки и технологий (ISTA) разработали метод сжатия больших языковых моделей (LLM) без потери качества. Об этом Forbes рассказали в «Яндексе».
Новый подход, получивший название HIGGS (от англ. Hadamard Incoherence with Gaussian MSE-optimal GridS), позволяет использовать LLM на обычных устройствах, таких как смартфоны и ноутбуки, что делает технологии на основе ИИ доступнее для малого бизнеса, стартапов и исследователей.
Как работает метод HIGGS. Метод HIGGS основан на квантизации — сжатии моделей с сохранением их функциональности. Это позволяет уменьшить размер LLM, таких как DeepSeek-R1 (671 млрд параметров) и Llama 4 Maverick (400 млрд параметров), и запускать их на устройствах с ограниченными вычислительными ресурсами. Ранее для работы с такими моделями требовались мощные серверы и графические ускорители (GPU), что делало их использование дорогостоящим.
Преимущества для бизнеса и науки. «Теперь даже небольшие компании, стартапы и исследователи смогут использовать мощные модели на обычных устройствах — таких, как смартфоны и ноутбуки. Это открывает двери для инноваций в самых разных областях: от образования и медицины до социальных услуг и технологических стартапов», — отмечает представитель НИУ ВШЭ. Метод также ускоряет процесс разработки, позволяя быстрее тестировать и внедрять новые решения.
Потенциал для рынка ИИ. По данным исследования «Будущее генИИ в странах БРИКС+», в 2024 году 54% российских компаний внедрили ИИ-решения. Новый метод может ускорить этот процесс, сделав технологии доступнее. Это поворотный момент, который позволит запускать больше экземпляров модели на тех же ресурсах, считает AI-евангелист, разработчик команды AI/ML «Битрикс24» Сергей Нотевский.
- Российские компании начали использовать ИИ для автоматизации процесса найма. В пресс-службе «Авито работы» рассказали, что 5% компаний уже системно применяют нейросети для подбора специалистов.
Фото на обложке: Sashkin / Shutterstock / FOTODOM
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Популярное
Материалы по теме
-
Пройти курс «Искусственный интеллект в малом бизнесе: теория и практика»
- 1 ВШЭ: науке нужны инвестиции, чтобы Россия осталась в топ-10 стран по числу исследований и разработок Если ситуация не изменится, мы потеряем девятое место в рейтинге 05 апреля 18:22
- 2 Американский стартап пытался воскресить мамонта и создал шерстистую мышь Colossal Biosciences обещает возродить детеныша мамонта к 2028 году 04 марта 18:52
- 3 Китайский прототип квантового компьютера оказался в миллион раз мощнее разработки Google Скачок в мощности произошел после оптимизации процессора и конфигурации проводов 04 марта 15:34
- 4 Microsoft представила новый чип, который ускорит приход эры квантовых вычислений Полноценные квантовые компьютеры появятся в течение нескольких лет, уверены в Microsoft 20 февраля 22:06