Как с помощью нейронной сети найти потерявшегося в лесу человека

Впервые о дронах заговорили в 2012 году в контексте масштабного светового шоу, которое устроила для широкой аудитории компания Ars Electronica. Вау-эффект был обеспечен, а перспективы стремительного развития направления более чем обозримы.

За эти годы технологии шагнули далеко вперед, аппараты стоят относительно недорого, просты в эксплуатации, а технологии легко масштабируются под любые цели. Дроны стали использовать для решения целого ряда задач в сельском хозяйстве, животноводстве, строительстве, рекламе, в поиске и спасении людей.

В части поиска и спасения людей беспилотники доказали свою эффективность уже не один раз. Главное достоинство – машина может искать человека с воздуха в местах малодоступных или опасных для перемещения спасателей-поисковиков. Но далеко не всегда робот может заменить человека. При работе в лесу возникает немало сложностей.

Среди них:

• возможность «видеть» сквозь густую крону деревьев,
• работа в автономном режиме при проведении поисковых работ в отдаленных районах,
• работа при любых погодных условиях и видимости,
• качество и оперативность передачи информации и другое.

Решить эти задачи взялась группа ученых Лаборатории киберфизических систем ИПУ РАН и Школы дронов МАИ.

Роботы вместо человека

В среднем для одной поисково-спасательной операции нужно около ста спасателей. Команда GoFPV, в составе которой специалисты в области робототехники, нейронных сетей и беспилотных летательных аппаратов, предложила заменить участников поискового отряда роем высокотехнологичных автономных беспилотников.

Решение было предложено в рамках технологического конкурса «Одиссея», который стартовал в 2018 году по инициативе благотворительного фонда «Система». Задача конкурса – разработать технологию, которая сможет найти человека, пропавшего в лесу без источника связи, быстрее чем за 10 часов.

Изучив возможности практического применения технологий распознавания, автономной навигации, передачи видеосигнала, различные виды сенсоров, GPU, аэродинамические схемы, увеличивающие грузоподъемность и время полета, команда GoFPV разработала прототип автономно управляемого дрона с системой распознавания на борту, который получил название «Тезей».

Рой от GoFPV представляет собой несколько небольших (35 см) машин, оборудованных:

• GPS,
• видеокамерой,
• нейронной сетью, обученной для распознавания человека,
• системой уклонения от препятствий.

Ключевая задача «Тезея» – пролететь 10 км на одной зарядке аккумулятора, что составляет не более 30-35 минут, исследовать территорию по маршруту полета и в случае обнаружения человека передать обработанные данные оператору.

В зависимости от условий, времени суток и площади исследуемой территории на решение задачи поиска человека в лесу может потребоваться от одного до десяти поисковых аппаратов и дронов-ретрансляторов.

Поисковой дрон перемещается под кронами деревьев. Для эффективного выполнения этой задачи дрон оснащен системой уклонения от препятствий с использованием алгоритмов навигации по карте глубины, полученной со стереокамеры Intel Realsense. Это позволяет аппарату совершать автономный полет на исследуемой территории и успешно избегать столкновений с любыми препятствиями – деревьями, ветками.

Ретранслятор перемещается над лесом и координирует положение и работу поисковых дронов так, чтобы не потерять связь друг с другом.

Цепочка взаимодействия проста:

• поисковой дрон с помощью бортовой сверточной нейронной сети YOLOv3 распознает человека и передает по Wi-Fi обработанное изображение и GPS координаты ретранслятору;
• ретранслятор в режиме реального времени передает видеопоток оператору по радиоканалу 1.2 ГГц.

Как работает нейронная сеть

В процессе детектирования территории в лесу должны соблюдаться несколько важных условий.

• Во-первых, нужно работать с видеопотоком в реальном времени.
• Во-вторых, обеспечивать высокую точность распознавания под различным ракурсом, поэтому детектор должен хорошо распознавать любые позы человека, освещение, различные типы одежды, а также быть устойчивым к любым искажениям самого видеопотока.
• В-третьих, процесс детектирования должен осуществляться на борту самого дрона.

В качестве бортового компьютера у «Тезея» выступает модуль NVIDIA Jetson.

Для оценки качества используемого в дронах детектора были выбраны стандартные метрики для такого рода задач:

• Intersection Over Union (IoU) – степень пересечения «предсказанного» и «истинного» ограничивающего человека прямоугольника (bounding box);
• mean Average Precision (mAP) – средняя точность обнаружения объекта.

В качестве обучающего массива данных команда GoFPV использовала как открытые данные (Caltech, KITTI, CityPerson, COCOPerson, OpenImageDatasets), так и данные собственного «производства», снятые в условиях леса.

Также использовали фото и видеоматериалы, предоставленные Санкт-Петербургским Объединением добровольных спасателей «Экстремум» и компанией Aeroxo. В результате из собранного массива данных были получены кадры людей в различных позах, с различного ракурса, в различной одежде и в различных условиях.

На сегодняшний день, согласно общемировым исследованиям в области разработки алгоритмов детектирования, можно выделить два наиболее крупных направления:

• классические алгоритмы детектирования, не связанные с глубоким обучением. К таким алгоритмам можно отнести, например, детекцию людей на основе гистограмм направленных градиентов, детекцию людей, основанную на движении объекта (анализ фона) и так далее;
• детекция людей на основе сверточных нейронных сетей. К таким алгоритмам относятся двухэтапные (Faster RCNN, Mask RCNN), одноэтапные (YOLO, SSD, RetinaNet) и каскадные – MTCNN.

Классические алгоритмы детектирования работают быстро (даже без видеокарт), но качество детектирования не очень высокое, что не позволило бы решить задачу поиска. Разработчики выбрали сверточную нейронную сеть, работающую на базе одноэтапных алгоритмов – YOLOv3.

Обучение сети происходит во фреймворке Pytorch. Проблема переобучения модели была решена с помощью ранней остановки обучения (early stopping). Итоговая нейронная сеть оптимизирована посредством NVIDIA TensorRT 5.

При тестировании алгоритма в условиях леса на борту дрона средняя точность детекции составила около 76% при 10-12 fps.

Вся работа по поиску, анализу и передаче информации выполняется автоматически. Задачи оператора сведены к минимуму – подтвердить обнаружение человека и вызвать спасательную бригаду по указанным координатам.

Управляемый рой

За один полет дрон способен обработать полосу шириной 50 метров. Для прочесывания больших участков леса может потребоваться десять и более аппаратов. В случае прочесывания леса роем, состоящим из нескольких поисковых дронов, возникает необходимость в координировании положения соседних машин. Важно не допустить их разлета на дистанцию больше чем 25-30 метров.

Ретранслятор сводит видеопотоки со всех аппаратов роя, преобразует их в аналоговый формат и передает на рабочую станцию оператора по радиоканалу 1.2ГГц, который обеспечивает устойчивую связь на дистанции до нескольких десятков километров.

При одновременном запуске 10 дронов без учета ретранслятора десяти часов работы должно быть достаточно для прочесывания 100 квадратных километров территории.

Решение прошло первые полевые испытания, которые позволили определить возможность полета роя под кронами деревьев в зависимости от плотности лесного массива. Для этого использовались управляемые с помощью шлема виртуальной реальности гоночные дроны. По результатам обработки видео нейросетью были получены размеченные фрагменты изображений с указанием вероятности присутствия в них людей.