Знакомьтесь: робот-гид, который переводит картины в звуки для слабовидящих

Многие художественные учреждения так сосредоточены на сохранении прошлого, что забывают думать о будущем. Смитсоновский музей американского искусства (SAAM) к числу таковых не относится. В сентябре они превратили одного из роботизированных гидов – Pepper – в мультимедийную инсталляцию, которая трансформировала картины в музыку. На мероприятии Tech Family Day Pepper взаимодействовал с посетителями, фиксировал их эмоции и реагировал на них картиной из коллекции музея и соответствующим звуком.

Рэйчел Гослинс, директор Здания искусства и промышленности, запустившая кампанию для Pepper на Kickstarter, сказала, что проект появился благодаря сотрудничеству музея с корпорацией SoftBank Robotics USA. Разработчики Pepper предложили отдать 100 роботов Смитсоновскому музею ради различных экспериментов в области образования и взаимодействия с посетителями. В итоге Гослинс обратилась к Йену Макдермотту, члену художественной студии для тинейджеров Музея Хиршхорна, с просьбой придумать что-то для мероприятия Tech Family Day.

Фото: Virtual Multimodal Museums

«Они написали код и придумали новый способ использования Pepper. Это интересно и необычно», – сказала Гослинс.

Pepper использует базу данных, состоящую из 50 изображений из коллекции SAAM. Каждое изображение соответствует одной из пяти эмоций – счастью, грусти, злости, удивлению и нейтральному настроению. Pepper считывает эмоции при помощи алгоритмов, а затем показывает изображение, соответствующее эмоции. Картинки появляются на планшете, прикрепленному к груди Pepper.

Световые датчики робота определяют цвета по шкале RGB (красный, зеленый и синий). Датчики переводят эти разные частоты света в нули и единицы с помощью микрочипа Arduino. Этот микрочип отправляет данные на Bluetooth-передатчик, который отправляет их на другой передатчик, а тот передает информацию на другой Arduino, подключенный к синтезатору Moog Werkstatt.

Werkstatt обрабатывает сигнал в диссонансных, пульсирующих тонах. Некоторые – приятные звуки вроде «бип», другие представляют собой высокий скрип. Затем Werkstatt отправляет эти импульсы на два полумодульных синтезатора Moog Mother-32, которые затем направляют звуки в модульную систему Eurorack, где для создания более сложного и мелодичного микса применяются другие эффекты.

Pepper и его предназначение

Фото: Unsplash

Позже этой осенью Смитсоновский музей планирует расширить с Pepper программы доступности для инвалидов. Музей уже проводит экскурсии, где человек объясняет, как выглядит картина, слабовидящим гостям. При помощи Pepper музей может установить прямую корреляцию между картиной и звуковыми волнами. Цель Макдермотта – придумать, как создать долгосрочные программы доступности для инвалидов.

«Что можно делать дальше? Pepper, например, может ходить по галерее, указывать рукой на картины, или же я могу собирать информацию с его камер, транслировать ее и обрабатывать при помощи компьютера, – мечтает МакДермотт. — Так Pepper сможет представлять работы в том виде, в котором они даже не предполагались – музыкально, а не визуально – или сделать искусство доступным для слабовидящих и проводить так экскурсии».

МакДермотт также обучает студентов программированию при помощи Pepper.

Смитстонский музей ко всеобщему удивлению начал заниматься одной из главных проблем будущего – взаимодействием роботов и людей. Многие остерегаются ИИ и роботов. Но эти создания и программы, на которых они основываются, не должны вызывать по отношению к себе враждебность. Гослинс с этим согласна.

«На философском уровне искусство – это эмоциональная форма творения, верно? Довольно поэтично, что мы передаем какие-то наши человеческие эмоции роботу для создания новой формы художественного самовыражения».

В будущем, возможно, люди и роботы будут учиться и творить вместе. И лучшим вариантом такого взаимодействия может стать интерпретация и создание новых подходов к искусству.

Источник.

Материалы по теме:

В метро Токио проведут эксперимент по использованию роботов для помощи пассажирам

Этот робот умеет плакать и кровоточить — и он пугает медиков своей реалистичностью

Стартап LuxAI создал робота-посредника для взаимодействия детей с аутизмом и терапевтов

У этого парня четыре руки, две из которых контролируются в VR