Раскрываем тайны Magic Leap: что это такое и как работает?

Трудно винить Magic Leap за желание держать все в секрете. Многие компании мечтают о том, чтобы что-то разнюхать и повторить то, чем восхищается так много людей. Все звучит так, будто это та самая технология, о которой мечтает Apple. Новый продукт, получивший ряд настоящих инноваций и в перспективе способный произвести революцию. Похоже, именно этого пыталась добиться Microsoft при разработке HoloLens, но пока ей это не удалось. Создатели черпали вдохновение в Google Glass, но их продукт в своем развитии ушел на несколько поколений вперед.

Очки дополненной реальности (ДР), созданные студией Osterhout Design Group (ODG). Возможно, Magic Leap, будет выглядеть похоже. Фото: UploadVR

Краткое описание

В Magic Leap создают устройство, способное проецировать объекты в зону обзора человека со степенью реалистичности, превосходящей все, что мы видели до этого.

Продукт будет состоять из двух частей: пары очков и небольшого карманного проектора/вычислительного устройства, формой и размерами скорее всего напоминающего телефон без экрана. Карманное устройство будет соединено с очками с помощью кабеля.

Очки по размеру будут похожи на те, что люди носят сегодня, хотя и могут быть немного более громоздкими, чем мы привыкли. Компактный размер гарнитуры является главной особенностью продукта. Это означает, что носить гарнитуру на публике будет вполне приемлемо, что в перспективе позволяет устройству догнать по функциональности и удобству использования смартфоны.

Размеры карманного вычислительного устройства будут примерно такими. Фото: UploadVR

Карманный проектор и вычислительное устройство

Главным достижением специалистов Magic Leap стало решение переместить все необходимое оборудование из гарнитуры в отдельный корпус. При разработке HoloLens – одного из основных конкурентов – была проделана впечатляющая работа по сохранению компактного размера, но все равно все компоненты размещены внутри гарнитуры. Из чего будет состоять карманное устройство? Скорее всего, из следующих элементов:

Батарея

Устройство будет потреблять примерно столько же энергии, сколько современный смартфон, или больше, в зависимости от сценария использования. Если Magic Leap должно заменить смартфоны, ему понадобится достаточно мощная батарея. Возможно, ее емкость будет не меньше 5000 мАч.

Центральный/графический процессор

Скорее всего, будут использованы процессоры из последних поколений для мобильных устройств. Предполагаю, что компоненты будут заказывать у Qualcomm. К счастью, создателям удастся сэкономить на необходимости иметь мощную графическую систему, так как при обработке ДР требуется отрисовка лишь некоторых компонентов, а не всей сцены целиком. Это позволяет не зависеть от мощности графического процессора.

Оперативная память

Те же требования, что и к смартфонам. Предполагаю, что будет примерно 3-4 Гб.

Дополнительные чипы

Необходимы для SLAM-обработки. Определенно понадобятся для размещения виртуальных объектов в реальном мире. Эти чипы могут производить в самой компании или использовать чипы фирмы Movidius, а также что-то подобное.

4G, Wi-Fi, Bluetooth, SIM-карта, чип GPS

Камера

На очках будут закреплены несколько камер, но это не значит, что на карманном устройстве камеры не будет. Требования к камерам на гарнитуре для проведения SLAM-обработки, существенно отличаются от требований, предъявляемых к хорошим потребительским камерам. Из-за ограничений по размерам создатели могут отказаться от установки высокопроизводительной камеры на очки и поставить ее на карманное устройство. Это принесло бы пользу в виде лучшей защиты конфиденциальности, так как с помощью одних только очков фотографировать не получится.

Лазерный проектор

Здесь находится вся суть инноваций. Перемещение проекционного оборудования с очков на карманное устройство позволяет значительно уменьшить габариты финального продукта. Проецируемое световое излучение генерируется в карманном устройстве, а затем по оптоволоконному кабелю передается на очки. Далее в статье об этой технологии будет рассказано подробнее.

Кит из нашумевших рекламных видеороликов Magic Leap. Фото: UploadVR

Очки

После того, как мы разместили все, что смогли, в карманной части продукта, что остается встроить в очки? Следующие компоненты:

Устройство обработки информации

Будет состоять из традиционного акселерометра, гироскопа и компаса.

Наушники

Возможно, как и в Google Glass, будут задействованы наушники, работающие по принципу костной проводимости. Это бы соответствовало философии компании, согласно которой нужно работать вместе с организмом, а не против него. Принцип костной проводимости имеет одно преимущество – вы сможете слышать и все, что происходит вокруг, и проигрываемое аудио.

Микрофон, оптика и камеры

Из всех компонентов оптика и камеры представляют наибольший интерес, поэтому давайте рассмотрим их более детально.

Рисунок: UploadVR

Оптика

В заявках на патенты мы можем увидеть, что оптика, используемая в Magic Leap, значительно выигрывает в размерах по сравнению с более традиционными системами проекции в HoloLens и Google Glass. На рисунке вверху видно, что источник света отделен от очков. Так мы можем предположить, что он будет генерироваться в карманном блоке.

Также можно увидеть, что система линз будет иметь очень скромные размеры. На изображении точно не использованы реальные размеры, однако оно все равно позволяют получить представление о габаритах используемых компонентов. Пока мы видели вживую только один элемент – фотонный чип. Можно сравнить размеры элементов 5, 6, 7 и 8 на рисунке вверху и примерно представить себе размеры.

Фото: UploadVR

Фотонный светополевой чип

Когла я впервые услышал, как основатель Magic Leap Рони Альбовиц называет свои линзы «фотонными светополевыми чипами, я возмутился. Еще одно безумное название для того, что уже давно существует. Это называется «линза», Рони! Но чем больше я изучал эту тему, тем очевиднее становилось, что это на самом деле гораздо больше, чем просто линза. Как она работает и почему это изобретение представляет намного больший интерес, чем простая линза? Давайте поговорим о дифракционных оптических элементах. 

Дифракционные оптические элементы (ДОЭ) можно понимать как очень тонкие «линзы», которые обеспечивают формирование луча, разделение луча и рассеяние или гомогенизацию. В Magic Leap используют линейную дифракционную решетку с круглыми линзами для разделения луча на фронте волны и создания лучей с нужной фокусировкой. Таким образом, свет направляется вам в глаза, и создается ощущение, что он находится в корректной фокальной плоскости. Однако сделать это гораздо сложнее, чем сказать, и, заметьте, сказать это тоже не так уж просто. Патентная документация, из которой я брал все эти сведения, мягко говоря, многословна. 

Пример дифракционного оптического элемента. Фото: UploadVR

Для создания светового поля в Magic Leap применили фотонный чип с двумя отдельными компонентами. Первый элемент (под цифрой 6 на схеме) принимает проецируемый свет и направляет его во второй элемент (1 на схеме), который перенаправляет свет в глаза. 

Главным недостатком этих устройств является жесткая привязка к одной определенной функции. Они не могут работать при разных длинах волны и менять свойства под разные точки фокусировки в реальном времени.

Рисунок: UploadVR

Для решения этой проблемы в Magic Leap использовали несколько дифракционных оптических элементов, наложенных на линзоподобный элемент более крупного размера и имеющих разные длины волны и фокальные плоскости. Эти ДОЭ являются крайне тонкими, они сравнимы с длиной волны света, которым они управляют, поэтому такое исполнение не сказывается на весе устройства слишком отрицательно. Вот почему эта оптическая система напоминает чип. Magic Leap может включать или отключать различные слои ДОЭ. Таким образом, можно менять путь, по которому свет достигает ваших глаз. Точно так же меняется точка фокусировки изображения и достигается истинное световое поле. В патенте говорится:

Может показаться, что такой подход несет в себе множество ограничений, поскольку для обеспечения полного диапазона точек фокусировки понадобится огромное количество слоев, но не в этом случае. Разные комбинации ДОЭ позволяют генерировать разный выходной результат. То есть каждая фокальная плоскость обеспечивается не отдельным ДОЭ, а сочетанием нескольких.

Изменение активного набора ДОЭ меняет путь, по которому свет покидает фотонный светополевой чип. В реальном устройстве, скорее всего, будет использовано большее количество слоев, чем показано на рисунке, но точное количество неизвестно.

Наконец, мы видим, как Magic Leap удается создавать темноту с помощью света, о чем они заявляли ранее. Если поставить один ДОЭ на внутренней поверхности линзы и еще один на внешней, мы можем подавлять свет примерно так же, как это реализовано в наушниках с системой шумоподавления. Выдержка из патента:

Так почему это чип? Стандартный электронный чип может влиять на ток электронов при разных условиях. Фотонный светополевой чип Magic Leap может менять пути прохождения фотонов в зависимости от различных условий. По-моему, звучит похоже.

Что мы имеем в итоге? У нас есть фотонный светополевой чип и проектор высокого разрешения, но непонятно, как все-таки генерируется изображение. Это делается путем композиции. Изображение разбирается на слои так, что разные его компоненты проецируются с разной длиной волны в качестве подкадров. Это означает, что для построения каждого полного кадра используется несколько этапов, и каждая фокальная плоскость генерируется отдельно.

Еще одно рекламное изображение Magic Leap. Фото: UploadVR

Камеры

В Magic Leap хотят решить с помощью камер сразу три задачи. Первая – самая очевидная – камера для повседневных нужд. Эта функция наиболее понятна, и, наверное, для ее реализации будет использоваться один из передовых модулей, используемых для производства смартфонов. Неважно, будет этот модуль размещен на очках или на карманном блоке – использовать его будет удобно, и под рукой всегда будет камера, способная делать качественные снимки.

Однако помимо этого остаются еще две более интересные функции. В Magic Leap не раз говорили о способности устройства понимать окружающий мир. В одном интервью представители компании упоминали о том, что устройство сможет распознавать объекты, например, нож и вилку. Для этого понадобится использовать комплект камер. Одним из устройств, выполняющих эту функцию довольно хорошо, является HoloLens. Это устройство оснащено комплектом из четырех чувствительных к окружению камер, работающих в комбинации с камерами, чувствительными к глубине. Более подробную информацию о Magic Leap можно найти в патентных документах.

Схема показывает две составляющих левой и правой частей очков. Сверху изображена левая половина, снизу - правая. Рисунок: UploadVR

Судя по рисунку выше, будут использованы две направленные наружу камеры, которым дали название world camara. При этом текст патента указывает на то, что количество камер может быть больше – «одна или более направленная наружу камера или камера для съемки окружающего мира (с каждой стороны)». Пока неизвестно ни то, каким количеством камер будет оснащаться система, ни то, насколько Magic Leap удалось сделать эти компоненты компактнее. Мы точно знаем только то, что камеры на очках будут, так как они необходимы для работы технологии SLAM-обработки.

Третий сценарий использования камер также можно увидеть на рисунке вверху. Как минимум две камеры будут направлены на ваши глаза. Это нужно для отслеживания движений глаз, чтобы обеспечить правильные точки фокусировки и направление взгляда. Также глаза будут подсвечиваться светодиодом с инфракрасным излучением, чтобы эти камеры могли снимать. Отслеживание движений глаз также важно для настройки пользовательского интерфейса. Как мне кажется, главным вопросом при взаимодействии пользователя с Magic Leap будет «На что вы смотрите?» Это может стать главным компонентом взаимодействия, подобно компьютерной мыши.

Рисунок: UploadVR

Разумеется, сейчас у меня нет возможности подтвердить или опровергнуть мои идеи, но все это звучит похоже на то, какой продукт хотели создать в Magic Leap. Независимо от того, будет устройство пользоваться успехом на рынке или нет, это первый за долгое время пример истинных инноваций в индустрии высоких технологий. 

Источник

Фото на обложке: uploadvr.com

Материалы по теме:

10 необычных изобретений, которые могут появиться к 2026 году

Умные контактные линзы уже существуют, и мы сможем делать с ними поразительные вещи

Nvidia обещает снизить требования к графической обработке VR в 3 раза

На повсеместное распространение виртуальной реальности может уйти 6-8 лет

Видео по теме: