«Майнеры могут заработать в 3-5 раз больше, добывая знания»

Обычно ручную разметку больших наборов изображений делают при помощи таких краудсорсинговых сервисов, как Amazon Mechanical Turk. Ручная работа на таких сервисах стоит недорого, но при этом плохо масштабируется. Мы подсчитали, что для разметки набора данных, которая помогала бы распознавать все 170 000 товаров из каталога российской розницы, потребовались бы годы работы и десятки миллионов долларов.

Идея №1: создание 3D-моделей

Вместо этого мы попробовали обучить глубокие нейронные сети для компьютерного зрения на синтетических данных. То есть мы собирались сделать 3D-модели товаров, виртуально поставить их на полки и в результате получить товары с данными, идеально размеченными для распознавания.

Ручного труда требуется гораздо меньше – нужна лишь одна 3D-модель, а на ее основе можно сделать всевозможные товары. Данные при этом размечаются идеально, поскольку мы полностью контролируем 3D-сцену.

Затем на этих изображениях нужно обучить нейросети. Причём не один и не два раза ­– всегда нужно пробовать много разных конструкций, обучать десятки и сотни разных моделей, проводить сотни экспериментов. А для этого нужны самые современные видеокарты. В общем, летом этого года мы столкнулись с тем, что нам было нужно очень много видеокарт.

Видеокарты с последними чипами от NVIDIA не просто дорого стоили, но и в продаже практически не появлялись. Всему виной оказались майнеры, у которых летом был бум доходов. Видеокарты им нужны были для майнинга легких криптовалют.

Мы попытались было «намайнить» несколько видеокарт через знакомых в США, но быстро поняли, что будем ждать их не меньше месяца и оставили эту затею.

Идея №2: использование облачных сервисов

Вместо видеокарт мы решили воспользоваться облачными сервисами, которые предоставляют в аренду уже готовые и настроенные для работы машины. В последнее время стал особенно популярен Amazon Web Services. Многие новые AI-стартапы арендуют там вычислительные мощности для своих разработок.

С одной стороны, обходятся облачные сервисы совсем не дёшево: арендовать машину с несколькими видеокартами для обучения нейронных сетей стоит несколько долларов в час, а этих часов нужно достаточно много. С другой стороны, мы знали, что все пользуются облачными сервисами. Значит, что-то здесь было не так.

Цены облачных сервисов приемлемы для покупателей только в крайнем случае – при отсутствии альтернативных вариантов. Для нас такой альтернативой стал тот самый источник наших проблем и расходов – майнеры.

Идея №3: аренда мощностей майнинг-ферм

Только потратив большие суммы, мы поняли, что покупать видеокарты не нужно. Их можно просто арендовать и использовать для вычислений в своих целях. Мы даже оказались на пике моды: каршеринг вместо личной машины, коворкинг вместо своего офиса, велопрокат вместо велосипеда дома, а у нас – прокат мощностей майнинговых ферм.

Мы поняли, что майнинг криптовалют приносит в несколько раз меньше денег, чем облачные сервисы берут за аренду аналогичной машины с видеокартами. Оказалось, что майнеры могли бы заработать больше денег на полезных вычислениях, а мы при этом потратили бы значительно меньше денег и времени на обработку изображений.

Почему это выгодно и майнерам, и стартаперам

Используя свои фермы видеокарт, майнеры могут заработать в 3-5 раз больше, «добывая знания», чем они могли бы получить с той же фермы на добыче криптовалют. Учитывая, что сложность вычислений для майнинга криптовалют растет, выгода от «майнинга знаний» будет только увеличиваться.

Применение майнинг-ферм для полезных вычислений выгодно обеим сторонам: майнеры больше заработают, а исследователи и предприниматели в области искусственного интеллекта получат гораздо более дешёвый и удобный способ реализации своих идей.

Мы верим, что такая «демократизация» приведёт к новым прорывам и к настоящей революции в области искусственного интеллекта.

Материалы по теме:

За все время существования биткоина пропало почти 4 миллиона единиц этой криптовалюты

Где и как хранить криптовалюту, чтобы ее никто не украл

10 самых популярных криптовалют, описанные в двух словах