«Яндекс» открыл доступ к своей библиотеке YaFSDP
Она позволяет ускорить обучение LLM до 25%
«Яндекс» выложил в открытый доступ библиотеку YaFSDP, которая позволяет ускорить обучение больших языковых моделей (LLM) до 25%, рассказали в пресс-службе технологической компании.
«Яндекс» выложил на GitHub свою библиотеку YaFSDP, которая ускоряет обучение LMM собственной разработки, а также сторонних моделей с открытым исходным кодом. Степень ускорения, которую обеспечивает YaFSDP, зависит от параметров и архитектуры нейросети.
Помимо сокращения времени на обучение библиотека поможет снизить расход ресурсов графических процессоров до 20%.
YaFSDP ориентирована, прежде всего, на LLM, однако подходит и для нейросетей для генерации изображений. Библиотека оптимизирует расход мощностей на всех этапах обучения: от pre-training до alignment.
YaFSDP создана в ходе обучения YandexGPT 3. Разработчики протестировали библиотеку на сторонних нейросетях с открытым исходным кодом.
Фото на обложке: YuryKara /
- 1 GitHub ограничит число репозиториев на одного владельца Ограничение будет действовать как для пользовательских аккаунтов, так и для компаний 28 марта 2025, 16:46
- 2 Разработчик Astra Linux создаст аналог GitLab, GitHub и BitBucket Проект представят до конца 2023 года 28 августа 2023, 11:59
- 3 «Яндекс» и VK не вошли в список участников эксперимента по созданию «российского GitHub» Также в перечень не попали «Лаборатория Касперского» и Positive Technologies 06 июня 2023, 14:54
- 4 Минцифры предложило отдать зависшие средства «Росинфокоминвеста» на российский аналог GitHub На него потратят 1,3 млрд рублей 13 марта 2023, 12:18