Истории

Нейросеть научилась выполнять инструкции по сборке Lego

Истории
Дарья Сидорова
Дарья Сидорова

Редактор отдела «Истории».

Дарья Сидорова

Инструкции Lego визуально демонстрируют процесс сборки так, что он понятен любому человеку. Однако машины только учатся следовать пошаговым руководствам — им сложно воспринимать двумерные изображения 3D-моделей в печатных инструкциях.

Глядя на изображение детали Lego, человек может мгновенно определить ее трехмерную структуру и найти ее среди других деталей. Чтобы это мог сделать и робот, исследователи из Стэнфордского университета разработали фреймворк Manual-to-Executable-Plan Network или MEPNet, как говорится в недавно опубликованной статье.

Нейросеть научилась выполнять инструкции по сборке Lego
Присоединиться

На каждом этапе нейронная сеть определяет не только 3D-структуру отдельных деталей, но и общую форму частично собранных моделей. В зависимости от того, куда нужно установить деталь, модель может быть представлена с совершенно другого ракурса по сравнению с предыдущим шагом. Поэтому MEPNet расшифровывает и сопоставляет увиденное с 3D-моделью, сгенерированной на предыдущих этапах.

Скриншот: Руочэн Ван, Юнжи Чжан, Цзяюань Мао, Чин-И Ченг и Джианджун Ву

Затем системе нужно определить, как установить новые детали в сгенерированную ранее 3D-модель. Для этого она сравнивают следующую версию частично собранной модели с предыдущей.

В руководствах Lego не используются стрелки, чтобы указать место расположения деталей. В лучшем случае оно помечается немного другим цветом, который порой сложно отличить на отсканированном изображении печатной страницы.

Этот процесс немного упрощает уникальная особенность Lego — шипы на верхней стороне деталей и трубки на нижней, с помощью которых они соединяются друг с другом. MEPNet понимает эти ограничения, что помогает сузить поиск подходящего места для размещения.

GIF-изображение: Стэнфордский университет

Это лишь первый шаг к тому, чтобы научить роботов собирать модели Lego. Целью этого исследования было преобразовать 2D-изображения из инструкций Lego в этапы сборки, понятные машине.

Хоть ни один поклонник Lego, вероятно, не захочет передать роботу задачу по сборке, это исследование может пригодится для других целей. Например, чтобы автоматически преобразовывать старые инструкции Lego в интерактивные 3D-руководства по сборке для мобильного приложения компании.

Кроме того, на основе этого фреймворка можно разработать ПО, которое будет анализировать изображения различных объектов и генерировать инструкции по созданию из них моделей Lego.

Источник.

Фото на обложке: Bored Photography / Shutterstock

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 5 компаний, которым кризис пошел на пользу: что стоит почерпнуть из их опыта?
  2. 2 «Яндекс» обучил YandexGPT понимать казахский язык
  3. 3 «Яндекс» представил третье поколение YandexGPT для решения задач в сфере IT
  4. 4 AI для HR: профиль кандидата, который повысит скорость найма в два раза
  5. 5 Эволюция ML-сервисов в микрофинансовых организациях и советы по внедрению
FutureFood
Кто производит «альтернативную» еду
Карта