«Яндекс» опубликовал в открытом доступе исходный код платформы для работы с большими данными

Платформу можно использовать как для аналитики, так и для обучения сложных моделей с миллиардами параметров, сообщила компания.

С помощью YTsaurus «Поиск» «Яндекса» строит поисковый индекс, а беспилотники используют платформу для обработки данных о поездках и улучшения своих алгоритмов. YTsaurus также управляет суперкомпьютерами «Яндекса», распределяя нагрузку таким образом, чтобы вычислительные мощности использовались эффективно.

«Яндекс» занимается разработкой YTsaurus с 2010 года. В компании отмечают, что наибольшую пользу YTsaurus может принести крупным компаниям, «которые обрабатывают гигантские объемы данных на тысячах серверов в условиях постоянно возрастающей нагрузки».

Исходный код и документация YTsaurus опубликованы на GitHub. Код распространяется под лицензией Apache 2.0. Платформу может использовать или доработать под себя любой желающий.

Фото на обложке: Unsplash