Нейросеть научилась выполнять инструкции по сборке Lego

На каждом этапе нейронная сеть определяет не только 3D-структуру отдельных деталей, но и общую форму частично собранных моделей. В зависимости от того, куда нужно установить деталь, модель может быть представлена с совершенно другого ракурса по сравнению с предыдущим шагом. Поэтому MEPNet расшифровывает и сопоставляет увиденное с 3D-моделью, сгенерированной на предыдущих этапах.

Скриншот: Руочэн Ван, Юнжи Чжан, Цзяюань Мао, Чин-И Ченг и Джианджун Ву

Затем системе нужно определить, как установить новые детали в сгенерированную ранее 3D-модель. Для этого она сравнивают следующую версию частично собранной модели с предыдущей.

В руководствах Lego не используются стрелки, чтобы указать место расположения деталей. В лучшем случае оно помечается немного другим цветом, который порой сложно отличить на отсканированном изображении печатной страницы.

Этот процесс немного упрощает уникальная особенность Lego — шипы на верхней стороне деталей и трубки на нижней, с помощью которых они соединяются друг с другом. MEPNet понимает эти ограничения, что помогает сузить поиск подходящего места для размещения.

GIF-изображение: Стэнфордский университет

Это лишь первый шаг к тому, чтобы научить роботов собирать модели Lego. Целью этого исследования было преобразовать 2D-изображения из инструкций Lego в этапы сборки, понятные машине.

Хоть ни один поклонник Lego, вероятно, не захочет передать роботу задачу по сборке, это исследование может пригодится для других целей. Например, чтобы автоматически преобразовывать старые инструкции Lego в интерактивные 3D-руководства по сборке для мобильного приложения компании.

Кроме того, на основе этого фреймворка можно разработать ПО, которое будет анализировать изображения различных объектов и генерировать инструкции по созданию из них моделей Lego.

Источник.