«Яндекс» выложил в открытый доступ библиотеку YaFSDP, которая позволяет ускорить обучение больших языковых моделей (LLM) до 25%, рассказали в пресс-службе технологической компании.
«Яндекс» выложил на GitHub свою библиотеку YaFSDP, которая ускоряет обучение LMM собственной разработки, а также сторонних моделей с открытым исходным кодом. Степень ускорения, которую обеспечивает YaFSDP, зависит от параметров и архитектуры нейросети.
Помимо сокращения времени на обучение библиотека поможет снизить расход ресурсов графических процессоров до 20%.
YaFSDP ориентирована, прежде всего, на LLM, однако подходит и для нейросетей для генерации изображений. Библиотека оптимизирует расход мощностей на всех этапах обучения: от pre-training до alignment.
YaFSDP создана в ходе обучения YandexGPT 3. Разработчики протестировали библиотеку на сторонних нейросетях с открытым исходным кодом.
Фото на обложке: YuryKara /
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
-
Пройти курс «Интернет-маркетинг для малого бизнеса»
- 1 Разработчик Astra Linux создаст аналог GitLab, GitHub и BitBucket
- 2 «Яндекс» и VK не вошли в список участников эксперимента по созданию «российского GitHub»
- 3 Twitter опубликовал на GitHub часть своего исходного кода
- 4 Минцифры предложило отдать зависшие средства «Росинфокоминвеста» на российский аналог GitHub
ВОЗМОЖНОСТИ
28 января 2025
03 февраля 2025
28 февраля 2025