Эти снимки показывают, что происходит в «мозгу» компьютера во время машинного обучения

Большая часть полученных изображений фактически представляет собой схемы, или графы, возникающие в ходе работы нейросети ResNet от Microsoft.

На этом снимке показан полный граф обучения архитектуры Microsoft Research ResNet-34 на базе процессора Graphcore, которое состоялось в декабре 2016 года. Изображение раскрашено, чтобы подчеркнуть плотность вычислений — именно она представляет собой светящийся центр на сверточных слоях нейросети.

Фото: Graphcore

Архитектура ResNet используется при создании глубинных нейросетей для компьютерного зрения и распознавания изображений. Этот снимок демонстрирует работу нейронной сети ResNet 50, которая используется для классификации изображений.

Фото: Graphcore

Полная передача вперед и назад во время распознавания изображений архитектурой AlexNet, которая использовала для обучения данные ImageNet.

Фото: Graphcore

Архитектура компьютерного зрения ResNet-34 на базе процессора Graphcore. На этом снимке видны слои нейронной сети, а в центре показаны соединения между ними.

Фото: Graphcore

Изображение полного графа обучения нейросети ResNet-34 за сентябрь 2016 года. По словам представителей Graphcore, оно похоже на снимок МРТ головного мозга. На нем можно заметить вершины кривых вычислений, места их соединений выделены синим цветом.

Результаты обучения архитектуры AlexNet, которая занимается классификацией изображений, за ноябрь 2016 года. Граф выполнен в черно-белом цвете, раскрашены только вершины трех последних слоев нейросети.

Результаты обучения классификации изображений архитектуры AlexNet на базе процессора Graphcore за декабрь 2016 года. На снимке у каждой использованной вершины свой цвет. Кроме того, на нем можно увидеть три полностью соединенных слоя нейросети (выделены зеленым цветом).

Данный граф наглядно показывает, в каком месте этой нейросети проходят параллельно друг другу несколько изображений. Подобный метод называют группировкой (batching).

Иллинойский университет использует глубинное обучение для ускорения анализа астрофизических данных, сгенерированных гравитационно-волновым детектором. Если эта модель выполняется на базе процессора Graphcore, в итоге получается вот такое изображение:

Снимок работы архитектуры Microsoft Research ResNet-50 в августе 2016 года. На нем показана выводная часть сети, используемая для распознавания изображений. Данная сеть состоит из 50 слоев, но процессор задействует только их малую часть — остальные же используются для повторной обработки других данных.

Фото: Graphcore

Источник.

Материалы по теме:

8 примеров использования компьютерного зрения

Марк Цукерберг потратил 100 часов на создание домашнего ИИ, и вот что тот умеет делать

Что такое компьютерное зрение?