«Яндекс» опубликовал в открытом доступе исходный код платформы для работы с большими данными
«Яндекс» опубликовал в открытом доступе исходный код YTsaurus — платформы для хранения и обработки больших данных, с которой работает большинство сервисов компании.
Платформу можно использовать как для аналитики, так и для обучения сложных моделей с миллиардами параметров, сообщила компания.
С помощью YTsaurus «Поиск» «Яндекса» строит поисковый индекс, а беспилотники используют платформу для обработки данных о поездках и улучшения своих алгоритмов. YTsaurus также управляет суперкомпьютерами «Яндекса», распределяя нагрузку таким образом, чтобы вычислительные мощности использовались эффективно.
«Яндекс» занимается разработкой YTsaurus с 2010 года. В компании отмечают, что наибольшую пользу YTsaurus может принести крупным компаниям, «которые обрабатывают гигантские объемы данных на тысячах серверов в условиях постоянно возрастающей нагрузки».
Исходный код и документация YTsaurus опубликованы на GitHub. Код распространяется под лицензией Apache 2.0. Платформу может использовать или доработать под себя любой желающий.
Фото на обложке: Unsplash
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Популярное
Материалы по теме
-
Пройти курс «Как открыть микромаркет»
- 1 Большие данные и ИИ стали драйвером роста российской экономики По прогнозам, к 2030 году вклад ИИ и big data в ВВП страны достигнет 10,6 трлн рублей 18 апреля 14:00
- 2 Как вывести работу с данными на новый уровень: кейс по комплексному анализу данных с помощью RnD Рассказываем об уникальной методологии анализа данных 20 марта 19:52
- 3 Машинное обучение и большие данные: как они связаны? Прежде чем данные смогут «обучить» алгоритмы машинного обучения, они проходят этапы 19 марта 06:30
- 4 Топ-7 идей Data Science проектов — пет-проекты и примеры анализа данных Полезные проекты на каждый день 03 марта 18:55