Инструкции Lego визуально демонстрируют процесс сборки так, что он понятен любому человеку. Однако машины только учатся следовать пошаговым руководствам — им сложно воспринимать двумерные изображения 3D-моделей в печатных инструкциях.
Глядя на изображение детали Lego, человек может мгновенно определить ее трехмерную структуру и найти ее среди других деталей. Чтобы это мог сделать и робот, исследователи из Стэнфордского университета разработали фреймворк Manual-to-Executable-Plan Network или MEPNet, как говорится в недавно опубликованной статье.
На каждом этапе нейронная сеть определяет не только 3D-структуру отдельных деталей, но и общую форму частично собранных моделей. В зависимости от того, куда нужно установить деталь, модель может быть представлена с совершенно другого ракурса по сравнению с предыдущим шагом. Поэтому MEPNet расшифровывает и сопоставляет увиденное с 3D-моделью, сгенерированной на предыдущих этапах.
Скриншот: Руочэн Ван, Юнжи Чжан, Цзяюань Мао, Чин-И Ченг и Джианджун Ву
Затем системе нужно определить, как установить новые детали в сгенерированную ранее 3D-модель. Для этого она сравнивают следующую версию частично собранной модели с предыдущей.
В руководствах Lego не используются стрелки, чтобы указать место расположения деталей. В лучшем случае оно помечается немного другим цветом, который порой сложно отличить на отсканированном изображении печатной страницы.
Этот процесс немного упрощает уникальная особенность Lego — шипы на верхней стороне деталей и трубки на нижней, с помощью которых они соединяются друг с другом. MEPNet понимает эти ограничения, что помогает сузить поиск подходящего места для размещения.
GIF-изображение: Стэнфордский университет
Это лишь первый шаг к тому, чтобы научить роботов собирать модели Lego. Целью этого исследования было преобразовать 2D-изображения из инструкций Lego в этапы сборки, понятные машине.
Хоть ни один поклонник Lego, вероятно, не захочет передать роботу задачу по сборке, это исследование может пригодится для других целей. Например, чтобы автоматически преобразовывать старые инструкции Lego в интерактивные 3D-руководства по сборке для мобильного приложения компании.
Кроме того, на основе этого фреймворка можно разработать ПО, которое будет анализировать изображения различных объектов и генерировать инструкции по созданию из них моделей Lego.
Фото на обложке: Bored Photography /
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
-
Пройти курс «Самое важное o 115-ФЗ»
- 1 Lego собрала полноразмерную модель гоночной машины McLaren P1
- 2 Nike и Lego заключили долгосрочное соглашение и планируют выпуск совместных продуктов
- 3 Как шоу беспилотников превратили небо в рекламный щит
- 4 10 секретов бесконечной креативности от сотрудников Lego