«Яндекс» опубликовал в открытом доступе исходный код YTsaurus — платформы для хранения и обработки больших данных, с которой работает большинство сервисов компании.
Платформу можно использовать как для аналитики, так и для обучения сложных моделей с миллиардами параметров, сообщила компания.
С помощью YTsaurus «Поиск» «Яндекса» строит поисковый индекс, а беспилотники используют платформу для обработки данных о поездках и улучшения своих алгоритмов. YTsaurus также управляет суперкомпьютерами «Яндекса», распределяя нагрузку таким образом, чтобы вычислительные мощности использовались эффективно.
«Яндекс» занимается разработкой YTsaurus с 2010 года. В компании отмечают, что наибольшую пользу YTsaurus может принести крупным компаниям, «которые обрабатывают гигантские объемы данных на тысячах серверов в условиях постоянно возрастающей нагрузки».
Исходный код и документация YTsaurus опубликованы на GitHub. Код распространяется под лицензией Apache 2.0. Платформу может использовать или доработать под себя любой желающий.
Фото на обложке: Unsplash
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
- 1 Конференция Data Fusion 2023 по машинному обучению, анализу данных и технологиям ИИ пройдет 13-14 апреля
- 2 PXM — подход, чтобы побороть хрупкость пользовательского опыта и оптимизировать его
- 3 ВТБ и МФТИ проведут митап на тему «Промышленный оптимизатор: алгоритмы за рамками ML»
- 4 VII форум «Управление данными — 2022» пройдет в Москве
- 5 Импортозамещение. 6 ошибок при переходе на отечественный сервер электронной почты и как их избежать
ВОЗМОЖНОСТИ
10 июня 2023
11 июня 2023
11 июня 2023