Автопилот для локомотива: как нейронные сети помогают машинистам

8 мая на одной из железнодорожных станций поезд проехал на запрещающий сигнал и врезался в стрелку. В качестве инновации по предотвращению аварий руководство депо издало приказ — машинистам перед поездкой отправлять начальнику депо слова «Безопасность гарантирую» (на фото).

Ура! Можно расслабиться — теперь аварий точно не будет. Как говорится, и смех и грех.

Но надо понимать, что опасных ситуаций на железных дорогах случаются тысячи. За прошлый год в России погибли 1546 человек. Помимо жертв, последствия ж/д аварий — это дорогостоящий ремонт состава и инфраструктуры, парализация движения, а это потери миллиардов рублей.

Выход — роботизация

Профессия машиниста является одной из самых сложных и опасных. Нужно оставаться внимательным всю смену (12 часов), в том числе ночью. Но усталость наступает все равно, и риски аварии возрастают. Выход один — роботизация. Об этом говорят и эксперты, и разработчики.

Действительно, ряд ведущих стран (США, Япония, Германия и др.) декларировал разработки в этом направлении. Два года назад к ним присоединилась Россия. О своих намерениях создать ж/д автопилот заявила наша компания. В его основе лежат технологии компьютерного зрения.

В чем сложность

Существует мнение, что проблема создания беспилотного рельсового транспорта успешно решается. При этом приводятся примеры автономных поездов в зонах аэропортов, метро, карьерах и т.д.

Но важно понимать, что все это работает на закрытых территориях. К этой категории, кстати, относятся и многие из объявленных зарубежных разработок. В них, как правило, система управления не использует компьютерное зрение для навигации. Если все параметры маршрута известны заранее, сведена к минимуму вероятность возникновения внештатных ситуаций, известно расположение стрелок и светофоров, при этом информация от них на борт поступает по проводным и беспроводным каналам, задача упрощается в разы по сравнению с автопилотом на основе ИИ.

Созданный нами автопилот соответствует 3 уровню автономности и доведён до опытной эксплуатации. Такой результат был достигнут во многом благодаря наработкам по автопилотированию трамваев в России и Китае — это то, без чего на этот рынок соваться просто нет смысла.

Решая задачу создания автопилота для ж/д, мы провели эксперименты с одним крупным металлургическим предприятием с большим парком маневровых тепловозов, используемых для доставки сырья к цехам и отгрузки продукции на железную дорогу.  

Беспилотный трамвай vs беспилотный локомотив

На железной дороге нужно видеть объекты на более дальних расстояниях. Ж/д сцена имеют свою специфику. Если трамвайный маршрут достаточно простой (двухколейка с минимумом разветвлений), то на сортировочных станциях очень сложная топология путей и стрелок. При этом, на ж/д используется более разнообразная светофорная сигнализация.

Отличаются и особенности движения. Маневровый локомотив, грубо говоря, и тянет, и толкает — система должна отработать в обе стороны.

Для поезда гораздо более сложна и задача торможения — под каждую ситуацию существует свой сценарий действия. Если в трамвае мы можем делать частичное торможение, то в поезде — только до полной остановки, иначе может случиться разрыв состава.

Сенсоры

На локомотив мы устанавливаем два комплекта датчиков из трех камер и радара в передней и задней части.

Так выглядят глаза беспилотного локомотива

Вот что видят три камеры:



Радары позволяют видеть ж/д сцену в любых погодных условиях. Кстати, радары у нас собственного производства, которое развернуто в Томске.

Локализация

Локализация является одной из важнейших задач при создании автопилота для ж/д. Здесь любая неточность — риск аварии. Мы должны быть уверены, что путь определяется корректно в любых условиях.

Для точного позиционирования мы в качестве ориентиров использовали объекты, жестко привязанные к местности — например, столбы. Их распознавание вкупе с данными геопозиционирования, одометрией и показаниями радаров полностью решает задачу с высочайшей точностью, даже в условиях слабого GPS-сигнала и любой погоды.
 
Такие у нас получаются карты путей:

Последовательность зеленых и синих точек — местоположения локомотива. Окружности вокруг них — разброс точек GPS–сигнала. Голубые линии — совокупность ж/д путей.
 

Внутренняя кухня

Технологии компьютерного зрения базируются на огромных базах датасетов, которые используются для обучения нейронных сетей и тестирования. Ручная разметка ушла в прошлое. Она трудоёмка. Наш инструментарий позволяет хранить датасеты, тегировать и использовать их в дальнейшей работе. В арсенале у нас есть универсальные детекторы объектов ж/д сцены.

Наш автопилот обеспечивает безопасную работу в сложных погодных и климатических условиях и при любой освещённости. Кстати, как показали обсуждения на последних берлинских InnoTrans, эти вопросы до сих пор являются проблемой для многих зарубежных команд.

Пример детекции низко расположенных светофоров зимой

Одна из особенностей станций — яркий свет и плохие условия для распознавания. Здесь пригодится радар для поиска пешеходов — видеоаналитика сама по себе не решит проблему:



Также мы используем также прогнозы движения людей. Но здесь всё просто — люди почти не ходят по путям и не пытаются прыгать под тепловоз, чтобы сесть в него.

Вот так детектируется положение стрелок: ждём стрелку в навигации, ищем стрелку, переключаемся на дальнюю камеру, выделяем сегмент со стрелкой в кадре, тащим его в нейронку, получаем результат состояния стрелки.



Вид из кабины машиниста:

Проект с РЖД

В начале 2019 года мы подписали соглашение с РЖД на создание программно-аппаратного комплекса помощи машинисту с возможностью автономного управления.

Для проведения работ и испытаний РЖД был выбран ряд участков на Северной железной дороге. Работы проводились на локомотиве серии ЧМЭ3.



В прошлом году система была представлена руководству корпорации во главе с Олегом Белозеровым и получила высокую оценку. Сегодня, согласно договору, интеллектуальные комплексы Cognitive Pilot установлены на десять маневровых локомотивов.

Как достичь максимума: 5 лайфхаков для разработчиков

1. При работе с датасетами обратите внимание, чтобы ваша выборка была репрезентативна. Не используйте синтетические данные — собирайте данные в реальных условиях.
2. Внимательно учитывайте требования заказчика. Расслабленность в этом вопросе может обойтись серьезными проблемами при сдаче работ.
3. Проводите испытания системы в реальных условиях. Никакие стенды не дадут вам полной картины.
4. Следите за научными достижениями. Нередко новые идеи позволяют вывести проект на новый уровень.
5. Если у вас уже есть опыт в создании беспилотных технологий, постарайтесь делать решения максимально модульными и унифицировать их в рамках разных проектов. Это позволит вам быстрее выводить продукты на рынок.

Фото на обложке: Unsplash

Фото в материале: архив компании