«Майнеры могут заработать в 3-5 раз больше, добывая знания»

Сергей Николенко
Сергей Николенко

Директор по науке Neuromation

Расскажите друзьям
Полина Константинова

Сергей Николенко, директор по науке Neuromation, рассказал с какими трудностями пришлось столкнуться компании при создании технологии распознавания товаров. 

Что там про AI-революцию?

С чего мы начинали

Первой серьезной задачей Neuromation стало распознавание товаров на полках в супермаркетах. Современные глубокие нейросети вполне успешно решают задачу поиска объектов. В нашем случае они были относительно несложные: банки, бутылки и пакеты с яркими этикетками.

Представьте себе, что у вас есть миллион фотографий полок супермаркетов и вам нужно на каждой из них вручную нарисовать такие прямоугольники, как на картинке ниже. Совершенно неподъёмная и невероятно рутинная задача!

Обычно ручную разметку больших наборов изображений делают при помощи таких краудсорсинговых сервисов, как Amazon Mechanical Turk. Ручная работа на таких сервисах стоит недорого, но при этом плохо масштабируется. Мы подсчитали, что для разметки набора данных, которая помогала бы распознавать все 170 000 товаров из каталога российской розницы, потребовались бы годы работы и десятки миллионов долларов.

Идея №1: создание 3D-моделей

Вместо этого мы попробовали обучить глубокие нейронные сети для компьютерного зрения на синтетических данных. То есть мы собирались сделать 3D-модели товаров, виртуально поставить их на полки и в результате получить товары с данными, идеально размеченными для распознавания.

Ручного труда требуется гораздо меньше – нужна лишь одна 3D-модель, а на ее основе можно сделать всевозможные товары. Данные при этом размечаются идеально, поскольку мы полностью контролируем 3D-сцену.

Современной видеокарте, в зависимости от мощности, требуется обычно от 30 секунд до 3 минут, чтобы создать одно такое изображение. Но ведь их миллионы, если не десятки миллионов. И это только первый этап.

Затем на этих изображениях нужно обучить нейросети. Причём не один и не два раза ­– всегда нужно пробовать много разных конструкций, обучать десятки и сотни разных моделей, проводить сотни экспериментов. А для этого нужны самые современные видеокарты. В общем, летом этого года мы столкнулись с тем, что нам было нужно очень много видеокарт.

Видеокарты с последними чипами от NVIDIA не просто дорого стоили, но и в продаже практически не появлялись. Всему виной оказались майнеры, у которых летом был бум доходов. Видеокарты им нужны были для майнинга легких криптовалют.

Так получилось, что новоявленные бизнесмены и владельцы майнинговых ферм оставили нас и геймеров без техники. Причём они не просто смели видеокарты с полок магазинов, они еще и выгребли все со складов в Китае.

Мы попытались было «намайнить» несколько видеокарт через знакомых в США, но быстро поняли, что будем ждать их не меньше месяца и оставили эту затею.

Идея №2: использование облачных сервисов

Вместо видеокарт мы решили воспользоваться облачными сервисами, которые предоставляют в аренду уже готовые и настроенные для работы машины. В последнее время стал особенно популярен Amazon Web Services. Многие новые AI-стартапы арендуют там вычислительные мощности для своих разработок.

С одной стороны, обходятся облачные сервисы совсем не дёшево: арендовать машину с несколькими видеокартами для обучения нейронных сетей стоит несколько долларов в час, а этих часов нужно достаточно много. С другой стороны, мы знали, что все пользуются облачными сервисами. Значит, что-то здесь было не так.

Мы очень быстро потратили десятки тысяч долларов на аренду мощностей в Amazon только для того, чтобы понять: работать с ними совершенно не обязательно.

Цены облачных сервисов приемлемы для покупателей только в крайнем случае – при отсутствии альтернативных вариантов. Для нас такой альтернативой стал тот самый источник наших проблем и расходов – майнеры.

Идея №3: аренда мощностей майнинг-ферм

Только потратив большие суммы, мы поняли, что покупать видеокарты не нужно. Их можно просто арендовать и использовать для вычислений в своих целях. Мы даже оказались на пике моды: каршеринг вместо личной машины, коворкинг вместо своего офиса, велопрокат вместо велосипеда дома, а у нас – прокат мощностей майнинговых ферм.

Мы поняли, что майнинг криптовалют приносит в несколько раз меньше денег, чем облачные сервисы берут за аренду аналогичной машины с видеокартами. Оказалось, что майнеры могли бы заработать больше денег на полезных вычислениях, а мы при этом потратили бы значительно меньше денег и времени на обработку изображений.

Сейчас мы работаем с несколькими майнинг-фермами, используя для полезных расчетов их видеокарты. Это в 5-10 раз дешевле, чем аренда серверов у облачных сервисов и при этом гораздо выгоднее для майнеров.

Почему это выгодно и майнерам, и стартаперам

Используя свои фермы видеокарт, майнеры могут заработать в 3-5 раз больше, «добывая знания», чем они могли бы получить с той же фермы на добыче криптовалют. Учитывая, что сложность вычислений для майнинга криптовалют растет, выгода от «майнинга знаний» будет только увеличиваться.

Применение майнинг-ферм для полезных вычислений выгодно обеим сторонам: майнеры больше заработают, а исследователи и предприниматели в области искусственного интеллекта получат гораздо более дешёвый и удобный способ реализации своих идей.

Мы верим, что такая «демократизация» приведёт к новым прорывам и к настоящей революции в области искусственного интеллекта.


Материалы по теме:

За все время существования биткоина пропало почти 4 миллиона единиц этой криптовалюты

Где и как хранить криптовалюту, чтобы ее никто не украл

10 самых популярных криптовалют, описанные в двух словах

Организаторы «Премии Рунета» назвали 10 технологических трендов на 2018 год

Самые актуальные новости - в Telegram-канале Rusbase


Комментарии

  • Олег Хакимов
    Олег Хакимов 22:59, 30.11.2017
    0
    Кто-нибудь, как-нибудь может подсказать что за сервисы такие, где можно сдавать мощности?
Комментарии могут оставлять только авторизованные пользователи.
Реклама помогает Rusbase


Разместить рекламу



Telegram канал @rusbase