SDF Labs — платформа для разработчиков, предназначенная для работы с данными, которая расширяет возможности использования SQL в организациях и помогает командам данных полностью раскрыть потенциал их данных.
Эта платформа позволяет выполнять контекстно-осведомленные задачи на ноутбуке и масштабировать их до облака, используя Apache DataFusion. SDF обеспечивает статический анализ данных, проверку качества данных и управление данными, интегрируя тесты, отчеты по управлению и проверки качества непосредственно в CI/CD процессы. Платформа позволяет легко загружать и запускать SDF Engine на локальном компьютере, обеспечивая высокую скорость компиляции с встроенным кешированием и многопоточным выполнением.
SDF позволяет выявлять ошибки в моделях данных без необходимости их запуска в облаке благодаря статическому анализу, что сокращает время отладки в 20 раз. SDF поддерживает работу с пользовательскими типами данных, предотвращает логические ошибки и проверяет код с помощью системы типов, которая развивается вместе с вашим хранилищем данных.
Компания SDF была основана выходцами из PiñataFarms и Microsoft и находится в Сиэтле. Миссия компании заключается в помощи разработчикам программного обеспечения в управлении корпоративными системами хранения данных, предоставляя инструменты для разработки данных следующего поколения. SDF поддерживает интеграцию с различными конфигурациями облачных провайдеров, форматов хранения и оркестраторов, создавая гибкую и масштабируемую инфраструктуру данных.
Платформа SDF используется такими компаниями, как ClassDojo, Obie и Linqto. Она обеспечивает безопасность разработки данных, поддерживает соответствие требованиям и защищает конфиденциальную информацию. SDF имеет открытый исходный код, что способствует созданию сообщества разработчиков и коллаборации.