DatabricksКомпания

Databricks, Inc. — ведущая мировая компания в области данных, аналитики и искусственного интеллекта (ИИ), основанная в 2013 году создателями Apache Spark из Калифорнийского университета в Беркли. Databricks стала пионером концепции data lakehouse — единой платформы, которая объединяет возможности хранилищ данных и озёр данных. Это позволяет организациям эффективно управлять структурированными и неструктурированными данными для аналитических задач и разработки моделей ИИ.

Основные направления деятельности и технологии

Архитектура и безопасность данных

Databricks использует инновационную двухплоскостную инфраструктуру, чтобы обеспечить безопасность и изоляцию данных:

• Плоскость данных (Data Plane): Располагается в облаке клиента, где происходят обработка данных и вычисления. Данные никогда не покидают облако клиента, что обеспечивает полный контроль и безопасность.
• Плоскость управления (Control Plane): Управляется Databricks и используется для администрирования рабочих пространств, настройки кластеров и создания ИИ-моделей. Плоскость обеспечивает шифрование данных, строгий контроль доступа и защиту сети.

Для усиления безопасности компания внедрила Unity Catalog — централизованное управление доступом к данным, позволяющее настраивать доступ к отдельным строкам и столбцам данных. Также платформа соответствует стандартам безопасности, включая HIPAA (медицинские данные) и PCI (данные платежных карт).

Инструменты и решения

• Delta Lake: Открытая технология для обеспечения надежности и производительности озёр данных.
• MLflow: Инструмент для управления жизненным циклом моделей машинного обучения.
• Mosaic: Набор инструментов для настройки и создания ИИ-систем. Среди них выделяется DBRX — модель-основа, которая сочетает высокую производительность с эффективным использованием ресурсов.
• Databricks SQL: Решение для выполнения аналитических запросов на основе SQL с возможностью интеграции с популярными BI-инструментами (Tableau, Qlik, Looker).

Обучение и поддержка

Databricks предоставляет богатую документацию и обучающие материалы, адаптированные под облачные платформы (AWS, Google Cloud, Microsoft Azure). Единая база знаний и поддержка клиентов помогают пользователям решать возникающие вопросы.

Компания активно развивается, показывая впечатляющие финансовые результаты: $2,4 млрд годового дохода в 2024 финансовом году, что на 60% больше по сравнению с прошлым годом. Среди клиентов Databricks — такие компании, как Shell, Burberry и Block.

Databricks также известна своими стратегическими приобретениями:

• MosaicML — технологии генеративного ИИ.
• Okera — инструменты управления данными.
• Tabular — решения для управления данными.

Штаб-квартира компании находится в Сан-Франциско, а подразделения работают в Канаде, Великобритании и других странах. Databricks стабильно входит в рейтинги крупнейших технологических компаний, занимая второе место в списке Cloud 100 и входя в AI 50.