Роботы станут полезнее, если научатся «слышать»

Хотя зрение важно, в некоторых ежедневных задачах полезнее ориентироваться на звук — например, по шипению лука на плите можно понять, что сковорода нагрелась до нужной температуры. Однако до сих пор обучение роботов на аудио проходило только в строго контролируемых лабораторных условиях, и эта технология отстает от других быстро развивающихся методов обучения роботов.

Исследователи из лаборатории робототехники и встроенного искусственного интеллекта в Стэнфордском университете решили это изменить. Для начала они построили систему для сбора звуковых данных, состоящую из камеры GoPro и захвата с микрофоном с фильтрацией фонового шума.

Читайте по теме:

Ученые создали улыбающегося робота из кожи человека

«Перекресток» начал тестировать роботов-мойщиков в супермаркетах

Затем люди использовали захват для выполнения разнообразных домашних задач, а дальше с помощью этих данных обучали роботизированные руки выполнять те же задачи самостоятельно. Новые алгоритмы помогали роботу собирать подсказки из аудиосигналов, чтобы работать более эффективно.

«До сих пор роботы обучались на видео без звука, — говорит Цзэйи Лю, докторант Стэнфорда и ведущий автор исследования. — Но аудио несет столько полезной информации».

Чтобы проверить, насколько успешным может быть робот, умеющий «слушать», исследователи выбрали четыре задачи: перевернуть бублик на сковородке, вытереть с доски, застегнуть застежку Velcro и выбросить из чашки игральные кости. В каждом задании звуки дают подсказки, которые не могут воспринять камеры или тактильные сенсоры: например, дотрагивается ли губка до доски и есть ли в чашке кубики.

Продемонстрировав каждую задачу пару сотен раз, команда сравнила успешность обучения с помощью аудиоподсказок и только с помощью видео. Результаты, опубликованные в статье на arXiv, но пока не рецензированные, были многообещающими. При выполнении теста с кубиками только с помощью зрения, робот лишь в 27% случаев мог определить, есть ли в чашке игральные кости, а при использовании аудио этот показатель вырос до 94%.

Шуран Сонг, руководитель лаборатории, проводившей исследование, говорит, что это не первый раз, когда аудио использовалось для обучения роботов, но это большой шаг к масштабированию: «Мы упрощаем использование аудио, полученного в естественных условиях, а не ограничиваемся его сбором в лаборатории, что занимает больше времени».

Исследование показывает, что аудио может быть более востребованным источником данных в гонке по обучению роботов с искусственным интеллектом. Имитационное обучение позволяет обучать роботов быстрее чем когда-либо, показывая им сотни примеров выполнения задач вместо того, чтобы писать программу для каждой вручную.

Если бы сбор звука можно было масштабировать с помощью приборов наподобие тех, что были использованы в исследовании, это бы дало роботам совершенно новое «чувство», позволяя более быстро адаптироваться к средам, где видимость затруднена либо бесполезна.

«Можно с уверенностью сказать, что аудио — одна из наименее изученных модальностей восприятия [для роботов]», — говорит Дмитрий Беренсон, помощник профессора робототехники в Мичиганском университете, занимавшийся исследованием.

Это связано с тем, что большая часть исследований по обучению роботов манипулировать объектами была проведена для промышленных задач по подъему и переносу, например, для сортировки предметов по контейнерам. В этих случаях звук не слишком нужен, достаточно тактильных или визуальных сенсоров.

Читайте по теме:

Wildberries начал тестировать промышленных роботов на складах

«Яндекс» готовится расширить серийное производство роботов-доставщиков

Но по мере того как роботы выполняют более широкий спектр задач в домах, на кухне и иной обстановке, аудио становится всё более полезным, считает Беренсон.

Представьте себе робота, который пытается найти сумку или карман с ключами в условиях ограниченной видимости. «Возможно, даже до того как вы дотронетесь до ключей, вы услышите их звяканье, — говорит Беренсон. — Это подсказка, что ключи лежат именно в этом кармане, а не в других».

И всё же, у аудио есть ограничения. Команда указывает, что ориентация на звук может быть не столь полезной в работе с мягкими или гибкими объектами, например, одеждой, которая не издает много полезных звуков.

Как упростить жизнь с помощью искусственного интеллекта

Роботов также отвлекали звуки, которые создавал их собственный механизм во время выполнения задач, так как этот звук не был представлен во время обучающих упражнений, которые выполняли люди. Чтобы исправить это, необходимо включить в обучение звуки роботов — жужжание, гудение и шум приводов — чтобы роботы научились не отвлекаться на них.

На следующем этапе, говорит Лю, надо будет проверить, насколько лучше работают модели, получившие больше данных. Для этого может понадобиться добавить больше микрофонов, собирать пространственное аудио и подключать микрофоны к другим устройствам для сбора данных.

Источник.

Фото на обложке: charles taylor / Shutterstock