Вильгельм: Это говорит о том, что в России всего 0,5–1% мирового рынка суперкомпьютеров. То есть у нас мало не только вычислительной инфраструктуры, которую можно как-то использовать для бизнеса, но и в целом бизнеса, которому требуются мощные вычислительные ресурсы.

Евгений: Суперкомпьютеры — это high end по определению. Флагманская индустрия и репутационная вещь. Очень мощные машины обычно доступны только государствам и крупным корпоратам. И здесь важно понимать, что рейтинги часто не учитывают ту инфраструктуру, которая установлена in-house в крупных корпорациях. В топ-500 включена по большей части публичная инфраструктура — суперкомпьютеры в университетах и лабораториях. Например, у наших нефтегазовых компаний имеется сильное железо, просто о нем нет открытой информации.

Андрей: Для масштабных вычислительных задач. Первые 500 машин в мире, которые могут сделать определенное количество вычислений по определенной схеме — это суперкомпьютеры. В обиходе, для заурядных задач, они так же неудобны, как для обычного водителя — болид «Формулы-1». Слишком мощные и специфичные.

Андрей: Множество — от майнинга до рендеринга (смеется). Построение физических моделей каких-нибудь объектов. Вот перед вами на столе Macbook, в котором нет вентилятора, но имеется теплопроводный корпус. Рассчитать теплопроводность такого ноутбука — вполне себе задача для суперкомпьютера.

Евгений: Различные аппараты в Кремниевой долине разрабатываются с помощью суперкомпьютеров. Например, промышленные дроны, у которых нужно рассчитать аэродинамику в области конкретного винта. Частная компания Boom Technology строит сверхзвуковой пассажирский лайнер. Я знаю, что для расчетов она использует мощности облачного суперкомпьютера. Представьте сколько времени и денег бы у американцев ушло на то, чтобы разработать необходимые детали такого самолета традиционными средствами без супермощного компьютерного моделирования. А так они могут очень быстро отрабатывать различные варианты, экспериментировать и находить оптимальные решения. Доступность вычислительной инфраструктуры является одной из причин того, что небольшие инжиниринговые компании заходят на поляну, где раньше могли себе позволить находиться только гиганты индустрии.

Евгений: Сланцевая нефть была бы невозможна без серьезного моделирования. Вся нефтянка много считает — чем сложнее месторождения, тем больше может дать моделирование с точки зрения эффективности его разработки. Знаю ребят с мехмата, которые работают на гранты Exxon Mobil и считают в том числе трехфазные среды. Но такого рода задачи нефтяные мейджоры предпочитают считать на собственной инфраструктуре, так как не хотят выпускать чувствительные данные в облака. Это особая специфика нефтегазового рынка.

Андрей: В России сегодня инженерные расчеты — это практически целиком «Ростех», а в нефтянке — наши нефтяные мейджоры, госкомпании. Большие корпорации могут себе позволить суперкомпьютеры, это уже вопрос эффективности их использования и стоимости обслуживания. Купить-то можно, но не всегда под них есть задачи.

Евгений: $10 миллионов на покупку для нефтесервисной компании среднего уровня — вполне доступная инвестиция. Проблема в неравномерной нагрузке — часто расширение мощностей требуется быстро — бывает, что компания выиграла больше тендеров, чем может посчитать на своей инфраструктуре. Но быстро суперкомп она себе не построит: развернуть новую инфраструктуру получится не менее чем через полгода. При этом после пиковой нагрузки она будет простаивать, что делает инвестицию нерентабельной. Поэтому компании могут понадобиться наши услуги — чтобы быстро расшириться без необходимости инвестировать в избыточную инфраструктуру. Работа с нефтесервисными компаниями — одна из тех ниш, на которых мы сфокусированы в России.

Вильгельм: Суперкомпьютер может стоить и от полумиллиона долларов. Зависит от его мощности. Дороже обойдется прикладной софт на кластер. В некоторых нишах его стоимость в десять раз выше самого железа. Например, у вас идет геологоразведка месторождения. Вы набурили 100 терабайт данных…

Андрей: Не набурили, а навзрывали!

Вильгельм: Окей, навзрывали. Теперь их нужно обработать, чтобы построить модель месторождения. Это все можно сделать на суперкомпьютере. Но не просто так — взять данные, поднести к железке, и они сами посчитались. Необходим прикладной софт, который разрабатывает один из лидеров рынка — компания Schlumberger. Они главные создатели софта для сейсмики, их программное обеспечение считается стандартом и стоит очень прилично — от нескольких сотен тысяч до нескольких миллионов долларов. То есть что получается? И железо дорогое, и софт дорогой, и в совокупности это формирует очень высокий барьер входа на рынок HPC. Такой барьер и способствовал нашему появлению.

Евгений: Можно. Большинство суперкомпьютеров едва загружается даже на 30%, и идея шерить их вычислительные мощности лежит на поверхности. Но как это происходит на практике? Возьмем для примера какой-нибудь университетский суперкомп. Тот же «Ломоносов» в МГУ или машину в Курчатовском институте. Во-первых, по бюрократическим причинам вы будете долго получать доступ к суперкомпьютеру. Во-вторых, вы обнаружите, что на нем установлена куча разных библиотек, которые для ваших задач не нужны и только мешают.

В общем, среда настроена таким образом, что нельзя просто прийти и начать считать. Если это кластер общего назначения, у вас не будет возможности самостоятельно устанавливать софт. Придется идти к администратору и потратить минимум неделю, чтобы все настроить под себя. Или три-четыре недели — если у вас сложный прикладной софт. На интеграционные издержки уходит куча времени. Вы платите за месяц, а работаете в лучшем случае три недели. То есть, условно, 25% денег сразу теряете на входе. А цифры серьезные: месяц аренды кластера на тысячу ядер может стоить около 2 миллионов рублей.

Вильгельм: Словом, с одной стороны мы видели неэффективность использования мощностей суперкомпьютеров, а с другой — бизнесы, которые бы хотели по-быстрому посчитать большие задачи. Так почему бы не высадить на простаивающий университетский кластер компании, которым нужна мощная машина? И при этом убрать все организационные косты и издержки? Так возникла идея применить технологию виртуализации в HPC.

Технологии, которая дает возможность унифицировать вычислительную среду и легко разделять настроенное программное окружение между пользователями, работающими на одной вычислительной инфраструктуре. При этом тот образ рабочей среды, который создан, можно сохранять, масштабировать и переносить на другой кластер. То есть обращаться с ним как с некой виртуальной сущностью, которая отвязана от железа. Это дает абсолютно новый уровень удобства в управлении кластерами и обслуживании пользователей.

Евгений: Тем более что пользоваться облачной HPC инфраструктурой так же легко, как обычными commodity облаками. Или как хостингом. Минуя все административные барьеры, просто зайти на сайт, сказать «хочу кластер» и по кнопке его получить. С такими же физическими свойствами, как и у реального суперкомпьютера.

Андрей: В 2006 году я участвовал в сборке суперкомпьютера на кафедре МФТИ. То есть я видел, как все это происходит — от пустого подвала до готовой инфраструктуры, в которой работают все узлы. Помню, что это были малазийские и китайские микросхемы, упакованные в корпуса HP. Треть мощностей суперкомпа арендовала Schlumberger, еще треть с научными проектами занимали пользователи, которым я помогал с поддержкой. В этом заключалась моя работа. Примерно тогда я понял, что некоторые специфические задачи могут решаться в виртуализационной оболочке. Но не той, что используется в индустрии, когда компьютер пилят на маленькие разделы, а шиворот-навыворот: один виртуализационный слой охватывает несколько серверов. Новизна была в том, что оболочка накатывалась сразу на группу машин.

В 2008 году я начал ходить с этой идеей по разным компаниям. Мне отвечали, что не знают, как с этого поднять деньги. Я осознавал, что пару миллионов долларов на разработку сам не найду, все-таки я технарь. А позже появился Вильгельм с желанием стать стартапером.

Вильгельм: Так в 2015 году в одной команде оказались я со своей идеей, Андрей с его наработками и технической экспертизой, Женя с его инвестиционным опытом и наш хороший знакомый по МФТИ Денис Лунев.

Вильгельм: Изначально наша базовая гипотеза оказалась неверна. Мы думали, что всем нужны сырые мощности on demand. Суперкомпьютер под различные задачи за считанные минуты на несколько часов или дней.

Евгений: Наше знание о рынке было нулевым. Мы не представляли, кто и каким софтом считает, как много денег в конкретных нишах, каков масштаб рынка. HPC Hub прошел пару долин смерти, а Вильгельму в какой-то момент пришлось отправиться в акселератор ФРИИ. Нам срочно нужно было понять, как правильно упаковать технологию в продукт и начать продавать.

Вильгельм: В итоге мы пришли к выводу, что на этом рынке пустое облако никому не нужно. А необходим облачный суперкомпьютер с предустановленным коммерческим софтом. Тогда клиент может прийти на все готовое и за минуты взять мощности и софт в краткосрочную аренду — например, на сутки. Мы начали долгие и сложные переговоры с вендорами ПО, чтобы их софт был доступен для аренды в нашем облаке.

Евгений: И снова начались трудности: к нам чувствовалось очень скептическое отношение отрасли в Oil&Gas из серии — а кому это надо? Мы оказались в одной из самых инертных индустрий, где большей части клиентов было не очевидно, что все постепенно перемещается в облако даже в HPC. Мы закрыли случайную сделку с клиентом из Oil&Gas, которая дала нам ложную уверенность, что сейчас попрет.

Евгений: Это было год назад, в мае. Мы не платили сотрудникам зарплату, накапливали долги. Я все активнее вовлекался в проект, мне казалось, что мы точно не использовали все возможности. Тогда же мы наконец-то — после трех попыток — получили грант от «Сколково», а затем снова попросили денег у нашего знакомого частного инвестора Димы Михайлова (бывшего гендиректора компании EG Capital Partners, которая управляет активами пенсионных фондов — прим. Rusbase). Он в свою очередь познакомил нас с другим инвестором. В общей сложности мы взяли еще 10 миллионов рублей.

Евгений: Потратили их на серьезную доработку нашей технологии и дальнейшее изучение рынка. Осенью, когда у нас начались реальные продажи, мы подняли еще 8 миллионов рублей от ангелов, которые нам доверяют. В тот момент мы не хотели полноценного раунда и старались маленькими шажками дойти до состояния понимания того, куда движемся.

Вильгельм: Мы видели, что лучше всего у нас получается договариваться не с гигантскими компаниями, где совсем другие формат работы, бизнес-модель и жизненный цикл сделки. Наши клиенты — это технологические стартапы из SMB-сектора. Если им нужно что-то быстро посчитать в нашем облаке, они приходят, за полдня проводят расчеты, сворачиваются и уходят.

Евгений: Пример идеального (и теперь уже постоянного) клиента с точки зрения юзкейса — новосибирская компания «Энергозапас». Этот стартап разрабатывает гравитационные накопители энергии. Ребятам нужно было рассчитать ветровую нагрузку 300-метрового сооружения и понять, грубо говоря, сколько железа и бетона понадобится на его строительство. Для вычислений используется открытый пакет OpenFOAM, в котором решается система уравнений Навье-Стокса с расчетной сеткой из 4,5 миллиона ячеек. В нашем облаке расчет одного варианта в стационарном и нестационарном режимах на трех узлах занимает всего 12 часов. Парни посчитали несколько вариантов за пару дней, свернули виртуальный суперкомпьютер, который мы им предоставили, и ушли подумать. Через несколько дней они решили поменять параметры — снова пришли, провели расчеты, ушли.

Вильгельм: Другой наш клиент — компания «Кномикс». Биоинформатики, которые изучают бактерии в кишечнике человека и их влияние на организм. Они тоже проводят свои расчеты с HPC Hub.

Вильгельм: Это не университетские машины, потому что с государственными организациями возникают сложности в плане юридического оформления аренды и поддержкой. Сейчас мы работаем на коммерческой инфраструктуре — на мощностях дочки «Росатома» в Сарове. К сожалению, по некоторым критериям «Росатом» уже не позволяет обслуживать тот спрос, который есть. Поэтому мы ищем варианты расширения.

Евгений: Когда мы начинали разрабатывать саму нашу технологию, то сидели на мощностях Курчатовского института. Очень благодарны, что нас туда пустили. Потом мы нашли альтернативу в виде «Росатома». Если же говорить о дальнейшем развитии, то HPC Hub не может оставаться и масштабироваться на случайно попавшихся мощностях. Есть другая модель, которую мы уже тестировали с дата-центрами. Идея в следующем: они покупают для нас железо, а мы его загружаем. Все, что требуется от нас — гарантировать спрос, непрерывную загрузку на потоке постоянно сменяющихся маленьких клиентов. То есть как только мы нащупаем достаточно ниш и получим выручку нужного объема, то сможем с дата-центрами договориться. Это эффективная модель и для них, и для нас.

Евгений: Владеть железом и сдавать его в аренду — это совсем другой бизнес. Он очень capital intensive, требует длинных денег и больших инвестиций. Один из ключевых принципов нашей бизнес-модели — не владеть суперкомпьютерами.

Евгений: После накатывания слоя виртуализации мы дальше почти не тратим деньги на его обслуживание. За поддержку железа отвечает партнер, у которого HPC Hub арендует инфраструктуру. Конечно, в этой модели у нас есть постоянные издержки на аренду минимального объема доступной инфраструктуры. Если мы хотим держать некий объем облака в постоянном доступе, приходится за него платить. Возможно, однажды нашим индустриальным партнером станут «Российские космические системы». На стадии предварительных переговоров мы согласовали возможность поработать с ними по предложенной нами модели revenue share. Она исключает постоянные издержки для нас, но отдает часть нашей прибыли инфраструктурному партнеру. Такую модель мы бы хотели в дальнейшем развивать со всеми дата-центрами на всех рынках присутствия.

Евгений: Аренда стоит очень по-разному в зависимости от того, что арендуется и на каких условиях, а также есть ли нужное железо у провайдера или ему надо купить его под нас. Все это совершенно разные сценарии. Если есть готовый суперкомп, то мы просто арендуем его по конкретной ставке. Неплохая железка может стоить нам примерно $0,025 за ядро*час. Стоимость этого же железа в нашем облаке — $0,09 за ядро*час. При этом амортизация такой инфраструктуры (стоимость покупки, поделенная на пять лет в ядро*часах эксплуатации без учета эксплуатационных издержек — прим. Rusbase) будет $0,007 за ядро*час.

В случае партнерства с дата-центрами, когда инфраструктура закупается под нас, нам интересна схема revenue share, чтобы не платить за простой. Дата-центры же привлекает другая схема — купить железо и сдать нам его по конкретной ставке, желательно, на весь срок его жизни, с гарантиями на случай, если мы вдруг захотим уйти. Баланс рисков в итоговой схеме в каждом конкретном случае зависит от переговоров.

Вильгельм: Мы не писали все с нуля. Использовали open source-решения, которые значительно доработали и улучшили. Конкретные решения в рамках open source позволяют нам давать клиентам дополнительную гибкость — за счет интеграции с другими облаками и технологическими решениями. Например, если у клиента storage в другом облаке, то мы легко можем брать оттуда данные.

Андрей: Параллельным курсом вместе с нами двигаются несколько компаний. Железки у всех одинаковые, но возможности собрать этот паззл — разные. Мы отличаемся балансом и гибкостью.

Евгений: Ответ простой — у нас лучше архитектура, наши решения эффективнее и быстрее. Я знаю это, потому что мы провели фундаментальное тестирование конкурентов. Команда HPC Hub за скромный бюджет сделала технологию, которая показывает эффективные результаты даже на старом железе. HPC облака от всем известных компаний на определенных задачах работают медленнее в разы. Или другой пример: в 2015 году, когда мы подняли 10 миллионов рублей, проект Rescale в Долине привлек $6,5 миллиона — за аналогичную разработку. При этом, когда ты приходишь в облако Rescale, тебе не дают монопольный доступ, где можно делать все, что хочешь. Клиент лишается гибкости, не может модифицировать софт под себя, самостоятельно ставить свой и так далее.

Вильгельм: У Rescale принципиально иной подход — клиент работает в жестких рамках графического интерфейса. Наше решение в базовом смысле более универсально.

Евгений: Сейчас у нас с Amazon разные предложения — насколько нам известно, у него нет суперкомпьютерных облаков с Infiniband. Кроме того, цена — одно из наших важнейших конкурентных преимуществ, особенно на зарубежных рынках, куда мы собираемся выходить. Взять тот же storage. Если посмотреть, во сколько обходится хранение одного гигабайта информации у нас и у крупного корпората при сопоставимых параметрах эффективности ввода/вывода на нужных нам режимах, то это различие в десятки раз. У нас честный суперкомпьютер с честным профессиональным стораджем в облаке. Помню, как мы гоняли облако Microsoft Azure на обычных синтетических тестах, чтобы посмотреть, как они перформят относительно заявленных цифр. И когда после этого нам прилетел счет на 25 тысяч рублей — это уже чересчур. Да, у Azure красивый интерфейс, но платить за него в три-пять раз больше, чем у нас, я считаю странным.

Андрей: А у ребят из Amazon и других hyperscale вендоров есть хитрость в тарифах. Они выкатывают очень хорошую цену за ядро в час. Но мелкими буквами в тарифах написано, что отдельно оплачивается загрузка/выгрузка данных и другие дополнительные манипуляции с облаком. То есть ценник за весь цикл вычислений получается совсем другим, чем можно было бы ожидать. Тут нам есть чему поучиться.

Евгений: Наша базовая цена — 2,64 тысячи рублей за один узел в сутки. Один расчетный кейс «Энергозапаса», когда они полдня на трех узлах рассчитывали ветроустойчивость сооружения, обошелся им всего в 3,96 тысячи рублей.

Вильгельм: Сейчас они арендуют гораздо больше, вошли во вкус. Используют до десяти узлов и на более длительные промежутки.

Евгений: Конечно, это не те чеки, на которых мы работаем. В инжиниринге один заказ от небольшой компании — это примерно $1,5 тысячи. Таких чеков от одного клиента мы получаем от двух до пяти в месяц. В нефтегазовой сфере чек составляет $12–15 тысяч.

Евгений: Постоянных — три. А в процессе пилотирования — несколько крупных клиентов из Oil&Gas. Проблема в том, что в России сложно масштабироваться. Технологичных небольших компаний вроде «Кномикса» и «Энергозапаса» у нас в стране, скажем, всего четыре, а в Долине — 400. Мы уже понимаем, что угадали с какими-то конкретными бизнес-моделями, и сейчас собираем ресурсы, чтобы выходить на международные рынки.

С ноября до конца 2017 года HPC Hub заработал около $25 тысяч. И мы сейчас ровно в той точке, когда что-то начало получаться. Если все пойдет по плану, то до конца 2018 года сделаем не меньше $250 тысяч выручки. Это в худшем случае.

Евгений: Наш следующий раунд — $2 миллиона. Мы ведем переговоры с несколькими ангелами, лидом же видим какой-то не российский фонд. Активнее всего диалог идет с фондом Speedinvest. Мы с Вильгельмом получили американские визы и в начале июня отправимся в роуд-шоу по потенциальным клиентам, партнерам и инвесторам. На уровне предварительных переговоров мы уже слышали, что да, парни, вы нам нравитесь, но где ваша американская инфраструктура? Где сама компания? Мы бы хотели лично на вас посмотреть.

Вильгельм: Для правильного выхода на каждом локальном рынке нужно иметь свой суперкомпьютер. Ведь многие клиенты не хотят отправлять свои данные в Россию. К тому же есть и законодательный момент: например, в биоинформатике во многих странах нельзя, чтобы персональная генетическая информация клиентов или пациентов покидала пределы страны.

Евгений: Это совершенно разные модели. В США много маленьких стартапов, которые ищут те же мощности, что доступны крупным компаниям. Это классно, это как раз те клиенты, с которыми мы бы хотели сотрудничать. В России же надо учиться работать с госпредприятиями и крупными корпорациями. Здесь длинный цикл сделок, хотя чеки в них больше. В целом российский рынок HPC on demand сейчас отсутствует как таковой.

Вильгельм: Мы все равно пока фокусируемся и на российском рынке, просто не хотим им ограничиваться. Но в России мы тоже будем зарабатывать, главное, завершить пилоты с вендорами ПО. Думаю, что устойчивая выручка от ниш, которые мы нащупали, — это вопрос максимум двух кварталов.

Евгений: Причем потенциальные клиенты у нас есть не только в Европе и Штатах. Мы ведем переговоры с крупной китайской компанией. Но нам тоже нужно высадиться туда. Великий китайский файрвол существенно осложняет трансфер данных, поэтому необходимо партнериться с местными дата-центрами и суперкомпьютерами. Китай — очень сложный и специфичный рынок. Как там работать — пока не очень понятно, но мы ясно видим, как работать с Европой и США.

Евгений: Степень проникновения облака в HPC очень низка. Его сильно меньше, чем могло бы быть. Об этом говорят цифры: мировой рынок суперкомпьютеров — это $35 миллиардов в год, а мировой рынок HPC облака — $700 миллионов в год, причем большая его часть — это private cloud. Глядя на уровень закупок серверов в мире, я бы предположил, что глобальный облачный рынок HPC однажды достигнет $5–6 миллиардов. Это если уровень проникновения облачных технологий в HPC достигнет хотя бы в половины от уровня проникновения в классических облаках.

Пока же конкуренция на этом поле относительно низка, и уровень технологий невысок. Мы выгодно смотримся на фоне других компаний с аналогичными сервисами, и это не может не радовать. Если нам удастся выйти на западный рынок и начать там работать, то выручка, по нашим оценкам, может составить от $0,5 до $1,5 миллиона в первый год только в тех нишах, где мы имеем подтвержденный спрос и понятную модель.