Почему YouTube решил создать свой собственный видеочип

Примерно семь лет назад Партха Ранганатан понял, что закон Мура уже не работает. Это было довольно большой проблемой для вице-президента Google по инженерным вопросам: он ожидал, что производительность чипов будет удваиваться каждые 18 месяцев без увеличения затрат, и в соответствии с этим планировал закупки для Google на десятки миллиардов долларов.

Но теперь он мог получать чип в два раза лучше раз в четыре года, и, похоже, в недалеком будущем этот разрыв должен был лишь увеличиваться. С этим нужно было что-то делать.

Google уже выделила сотни миллионов долларов на разработку собственных пользовательских чипов для ИИ — тензорных потоковых процессоров (tensor processing units, TPU). К настоящему времени компания выпустила более четырех поколений TPU, получив преимущество в области ИИ перед конкурентами.

Но во время разработки в Google поняли, что можно улучшить и другие типы вычислений. Ранганатан и инженеры обратили внимание на наиболее ресурсоемкие приложения в ЦОД и довольно быстро выбрали следующую цель — видео.

Фактически большая часть вычислительного цикла компании была занята перекодированием видеофайлов.

YouTube, безусловно, был крупнейшим потребителем вычислений, связанных с видео, в Google, но тип чипов, используемых для обработки, конвертации и воспроизведения миллиардов видео на платформе, не слишком соответствовал задаче.

Фото в тексте: diy13 / Shutterstock

Ранганатан счел, что преобразование видео в правильный формат для тысяч устройств, которые в конечном итоге будут их воспроизводить, — хорошая проблема, на которую стоит потратить время. При этом задача достаточно проста, чтобы спроектировать специализированную интегральную схему (application-specific integrated circuit, ASIC) специально для ее выполнения.

Для этого в 2016 году коллега Ранганатана Даннер Стодольский попросил у вице-президента YouTube Скотта Сильвера, который курировал инфраструктуру компании, около 40 сотрудников и нераскрытую сумму в несколько миллионов долларов.

Сильвер вспоминает, что увидел в идее большой потенциал. И после 10-минутной встречи с CEO YouTube Сьюзан Войчицки первый проект видеочипа YouTube получил зеленый свет.

Чип, названный Argos в честь многоглазого монстра из греческой мифологии, был впервые представлен общественности в прошлом году в техническом документе. Тогда YouTube заявлял, что новый дизайн позволил увеличить производительность вычислений при перекодировании в 20-33 раза.

Сегодня Google внедрила чипы Argos второго поколения на тысячи серверов по всему миру, и в разработке находятся две будущие итерации.

Сделай сам

Кастомные чипы YouTube от Google — часть растущей тенденции среди технологических гигантов. Amazon построила свои серверные процессоры Graviton, Microsoft работает над серверными процессорами на базе Arm, у Facebook* есть подразделение по разработке чипов — и список можно продолжать дальше.

Принято считать, что крупные технологические компании производят чипы ради экономии. Но Джей Голдберг, директор D2D Advisory, с этим не согласен.

Во-первых, это не оправданно с экономической точки зрения — огромные затраты на поиск и обучение разработчиков чипов не стоят того, чтобы сэкономить несколько долларов на марже. Просто чтобы создать прототип нового усовершенствованного чипа, уйдут сотни миллионов долларов, а на его совершенствование придется потратить еще десятки миллионов.

«На самом деле мы сосредоточены не на экономии, — говорит Сильвер. — Нам нравится экономить, но на самом деле мы хотим предоставить зрителям не менее, если не более качественный опыт».

Мотив довольно прост: крупные технологические компании разрабатывают свои собственные чипы, чтобы создать стратегическое преимущество.

«Обычно это означает, что у вас есть какое-то программное обеспечение, которое привязывается к чипу, чтобы получить большой прирост производительности», — говорит Голдберг. Один из самых первых и наиболее известных примеров — TPU от Google, который компания разработала для решения задач ИИ в своих центрах обработки данных.

Читайте по теме:

«Нам нужны чипы, чтобы производить больше чипов»: дефицит полупроводников может продлиться еще два года

TSMC: как тайваньский производитель микросхем стал опорой мировой экономики

Для определенных рабочих нагрузок «TPU сокращает количество центров обработки данных, которые им приходится строить, на 50%, — отмечает Голдберг. — При цене в $1 млрд за штуку это большая экономия».

Это позволило не просто сберечь деньги на строительстве ЦОД, но и дало Google Cloud преимущества, которых в свое время не было у Microsoft Azure и AWS.

Еще одна причина создавать собственные чипы может быть связана со значительной консолидацией индустрии чипов за последние десятилетия. Около 20 лет назад десятки компаний соперничали за производство чипов, которые требовались технологическим гигантам, и эта конкуренция привела к появлению множества конкурирующих дизайнов на выбор.

Сегодня в большинстве категорий есть только один или два крупных производителя микросхем — особенно это справедливо в отношении процессоров для ЦОД. Это означает, что облачные компании не могут получить нужные чипы, и должны использовать процессоры общего назначения от Intel и Nvidia — неплохие, но относительно однообразные.

Голдберг объясняет, что все дело в контроле над дорожной картой продукции: поэтому технологические компании разрабатывает собственные чипы и «таким образом получают стратегическое преимущество».

Просто нажмите на кнопку

YouTube называет чип Argos аппаратным кодером видео (video coding unit, VCU). Его основная задача — преобразовывать 500 часов видео, которые загружаются на сайт каждую минуту, в различные форматы экрана и форматы сжатия. Это необходимо, чтобы воспроизводить ролики на множестве устройств, используемых для просмотра YouTube, от смартфонов до телевизоров и ноутбуков. Иногда существует до 15 вариантов каждого видео.

Несмотря на то, что назначение чипа было простым, а Ранганатан и команда инженеров имели четкое представление о том, чего они хотели от него добиться, изобрести чип было непростой задачей.

Огромный масштаб задач, необходимый только для работы YouTube, требовал продумать все этапы — от самого кремния до того, как YouTube разместит платы, к которым будут прикреплены чипы, от дизайна стоек в центрах обработки данных и до настройки каждого кластера.

Фото в тексте: Gorodenkoff / Shutterstock

Ранганатан объясняет: важно спроектировать не просто оборудование, но и возможности его использования. Для него аппаратное обеспечение было лишь частью задачи. Чтобы определить, как интегрировать чипы Argos в ЦОД компании и использовать их в масштабах YouTube, потребовалось тесное сотрудничество инженеров по программному и аппаратному обеспечению.

В результате Argos — аппаратная часть, определяемая программным обеспечением: инженеры могли использовать высокоуровневые методы синтеза, чтобы быстрее менять дизайн чипа. Google разработала собственную версию высокоуровневого ПО Taffel, которое применялось для создания процессоров TPU и Argos.

Ранганатан приводит еще один пример тесного сотрудничества аппаратного и программного обеспечения. Инженеры определили, как быстро обнаруживать сбои чипов и перенаправлять трафик, чтобы избежать «черных дыр» — затрат ресурсов на чипы, выходящие из строя.

Первая версия чипа Argos была предназначена просто для того, чтобы взять существующую нагрузку на видео, которую перекодировал YouTube, и сократить затраты на задачу. Эта экономия позволила YouTube начать перекодирование гораздо большего количества файлов в более совершенные форматы кодирования видео, которые используют значительно меньше данных, но предлагают то же качество изображения.

Читайте по теме:

Стартап Lonestar собирается разместить центры обработки данных на Луне

Мировые дата-центры оказались не готовы к климатическому кризису

Файлы меньшего размера имеют огромные преимущества: их хранение и обслуживание обходятся дешевле, они позволяют операторам использовать меньшую пропускную способность и обеспечивают более быстрое время загрузки для потребителей.

«Мы хотим брать все видео, которые загружаются на YouTube, и перекодировать их во все возможные форматы, чтобы получить наилучший опыт, — объясняет он. — Проблема просто неразрешима. И это позволило откусить большой кусок от этого яблока».

Как и в случае большинства чипов для ЦОД, сотни миллионов людей, которые смотрят YouTube или используют другие видеопродукты Google, не заметят существование Argos. Сильвер признает, что компания не наблюдала реакции на внедрение VCU ни на одном из рынков присутствия YouTube.

Тем не менее, для конкуренции с Nvidia, AMD или Intel недостаточно создать одно поколение VCU — Google придется опередить полупроводниковых гигантов на годы.

Гораздо разумнее спроектировать чип, который будет хорошо решать одну задачу, а более широкие проблемы оставить для дорогих и универсальных чипов, которые могут обрабатывать любые виды вычислений.

* Meta и входящие в нее Facebook и Instagram признаны экстремистскими организациями, деятельность которых запрещена в РФ. 

Источник.

Фото на обложке: Benson HE / Shutterstock