6 областей ИИ и машинного обучения, за которыми стоит наблюдать

Расскажите друзьям
Светлана Зыкова
Алексей Зеньков

Об искусственном интеллекте слышали все, однако универсального и общепринятого определения этой технологии пока нет. Инвестор и предприниматель Натан Бенаич (Nathan Benaich) поделился своим видением и рассказал о шести сферах использования ИИ, которые особенно способны повлиять на будущее цифровых продуктов и услуг.

Попытки придумать общепринятое определение искусственного интеллекта (ИИ) в последнее время приняли новый оборот. Некоторые стали понимать под ИИ «когнитивные вычисления», другие – «машинный интеллект», а еще кто-то путает ИИ с машинным обучением.

Отчасти так происходит потому, что ИИ не ограничивается одной конкретной технологией. В реальности это широкое понятие, находящееся на пересечении множества дисциплин, начиная робототехникой и заканчивая машинным обучением. Считается, что конечная цель разработчиков – создать машины, способные выполнять задачи и когнитивные функции, которые пока подвластны только человеческому интеллекту. Для достижения этой цели нужно, чтобы машины могли обучаться самостоятельно, и их не приходилось бы вручную программировать от начала и до конца.


Фото: iLexx/Depositphotos


Поразительно, как сильно продвинулась индустрия ИИ за последние десять лет во множестве областей – от беспилотных автомобилей до распознавания и синтеза речи. Благодаря этим достижениям во многих компаниях и организациях заговорили об ИИ не как о чем-то фантастическом, а как об индустрии, влияющей на нашу жизнь уже сегодня.

Средства массовой информации говорят об ИИ едва ли не каждый день, а технологические гиганты один за другим рассказывают о своих многообещающих планах на эти технологии. Пока некоторые инвесторы и топ-менеджеры стараются понять, как создавать ценности в этом новом мире, большинство отчаянно пытается разобраться, что вообще это все значит. В то же время правительства ищут способы сгладить последствия повальной автоматизации (вспомним хотя бы прощальную речь Барака Обамы).

Учитывая, что ИИ повлияет на всю мировую экономику, участники этих дискуссий представляют собой все многообразие сторон, уровней понимания и степеней компетентности, на которых только можно разрабатывать и использовать системы с ИИ. Поэтому необходимо весь этот диалог – включая вопросы, ответы и рекомендации – вести на основе данных и объективной реальности, а не предположений.

Экстраполировать воображаемые результаты из научных публикаций, статей в профильных СМИ, спекуляций и других мыслительных экспериментов на наше будущее – это слишком просто (и порой слишком захватывающе).

Ниже приведены шесть сфер использования ИИ, которые особенно способны повлиять на будущее цифровых продуктов и услуг. Бенаич постарался объяснить, в чем их суть, почему это важно и как используется сегодня, а также привел список (конечно, далеко не полный) компаний и исследователей, работающих над этими технологиями.


1. Обучение с подкреплением (RL)

RL (reinforcement learning) – это парадигма обучения методом проб и ошибок, созданная наподобие того, как люди учатся новым задачам. В типичном сценарии RL агенту дается задание зафиксировать свое текущее состояние в цифровой среде и максимизировать долгосрочную выгоду. Агент получает обратную связь от своего окружения после каждого действия, так что ему легко определить, что способствует, а что мешает прогрессу. Таким образом, агент должен найти баланс в изучении окружающего мира, чтобы как можно быстрее достичь желаемой цели.

Такой подход широко использовали в Google DeepMind при работе с играми Atari и го. В качестве примера использования RL в реальной жизни можно привести то, как в Google оптимизировали расходы энергии на охлаждение своих дата-центров. Система RL помогла компании снизить расходы на 40%. RL-агенты в системах с возможностью стимулирования (например, в видеоиграх) имеют одно важное естественное преимущество: обучающие данные можно генерировать целыми коллекциями и по очень низкой цене. В этом они разительно отличаются от заданий с контролируемым глубинным обучением, для которых часто требуются обучающие данные, которые очень дорого и трудно получить.


2. Порождающие модели

В отличие от дискриминантных моделей, используемых для задач классификации или регрессии, порождающие модели вычисляют распределение вероятностей с помощью обучающих примеров. Извлекая отсчеты этого многомерного распределения, порождающие модели создают новые образцы, подобные обучающим. Это означает, что порождающая модель, обученная на реальных изображениях лиц, может синтезировать новые изображения похожих лиц.

Подробнее об устройстве таких моделей рассказал Йен Гудфеллоу (Ian Goodfellow) в 2016 году в своем обучающем курсе по NIPS. Описанная им архитектура, порождающая состязательная сеть (GAN), особенно популярна сейчас в научном мире, поскольку позволяет приблизиться к неконтролируемому обучению. Сети GAN состоят из двух нейросетей: генератора, который получает на вход случайных шум и должен синтезировать контент (например, изображения), и дискриминатора, который обучен с помощью изображений и должен отделять реальные изображения от ненастоящих, созданных генератором.

Состязательные сети можно понимать как игру, по правилам которой генератор должен постепенно научиться создавать из шума такие изображения, которые дискриминатор не сможет отличить от реальных. Постепенно этот подход стал применяться для самых разных типов данных и задач.


3.Сети с памятью

Для того, чтобы системы ИИ научились обобщать представления о разнообразии реального мира так же, как делаем это мы, они должны быть способны постоянно учиться новым задачам и при этом постоянно держать их в памяти. Однако традиционный нейросети обычно неспособны последовательно учиться новому и не забывать при этом старое.

Этот недостаток получил название «катастрофическая забывчивость». Они имеет место потому, что принципы, важные для решения задачи А, уступают место новым, когда сеть начинает тренироваться для выполнения задачи Б.


Фото: Getty Images


Существует, однако, несколько типов архитектуры, при которых нейросеть получает определенное подобие памяти. К ним относятся сети с долгосрочно-краткосрочной памятью (вариант цикличной нейросети), которые способны обрабатывать и предсказывать временные ряды; дифференцируемый нейрокомпьютер DeepMind, которые сочетает в себе возможности нейросетей и систем хранения информации, позволяющие учиться и ориентироваться в сложных структурах данных; алгоритм консолидации упругих грузов, который может снижать приоритет в обучении определенных грузов в зависимости от их важности для предыдущих задач; и прогрессивные нейросети, которые оценивают косвенные связи между конкретными моделями, чтобы извлечь полезные для новой задачи навыки из ранее обученных сетей.

  • Применение. Обучение агентов, способных обобщать знания о новых средах; управление роботизированными манипуляторами; беспилотный транспорт; предсказание временных рядов (например, финансовые рынки, видео, IoT); распознавание естественного языка и предсказание следующего слова.
  • Компании: Google DeepMind, NNaisense, SwiftKey/Microsoft Research, Facebook AI Research.
  • Главные исследователи: Алекс Грэйвз (Alex Graves), Райа Хадселл, Корай Кавукчуоглу (Koray Kavukcuoglu) (Google DeepMind), Юрген Шмидхубер (Jürgen Schmidhuber) (IDSIA – Швейцарская лаборатория по изучению ИИ), Джеффри Хинтон (Geoffrey Hinton) (Google Brain/Университет Торонто), Джеймс Уэстон (James Weston), Сумит Чопра (Sumit Chopra), Антуан Борде (Antoine Bordes) (Facebook AI Research).

4. Обучение на меньшем объеме данных и построение более компактных моделей

Широко известно, что для достижения максимальной производительности моделям глубинного обучения требуется огромное количество тренировочных данных.

Один из примеров – Конкурс по распознаванию крупной базы изображений сайта ImageNet, в рамках которого участники испытывают свои модели распознавания на базе из 1,2 млн тренировочных изображений с вручную проставленными метками по тысяче категорий. Без таких объемных наборов данных модели глубинного обучения не смогут оптимизировать свою работу и качественно выполнять такие сложные задачи, как распознавание речи и машинный перевод.

Это ограничение становится еще жестче, когда для решения конкретной задачи используют одну нейросеть – например, сеть, которая при поступлении на вход аудиозаписи речи на выходе должна дать текстовую расшифровку. Ситуация резко меняется, если задействовать несколько сетей, каждая из которых решает промежуточные задачи (то есть аудио – фонемы – слова – текст на выходе; или передача пикселей напрямую рулевой системе). Для создания систем ИИ, способных решать задачи, обучающие данные для которых получить очень сложно, дорого или долго, важно разработать модели, способные находить оптимальные решения с помощью меньшего количества примеров (например, обучение с нулевым или единичным количеством попыток).

При обучении на небольших наборах данных возникают сложности в виде выдачи посторонних значений, переобучения, различий в распределении данных между обучением и испытанием. В качестве альтернативы можно улучшить обучение новой задаче, передавая знания, полученные моделью машинного обучения при выполнении предыдущей задачи. Совокупность этих процессов называется передаточным обучением.

Еще одна важная цель – построение производительных систем глубинного обучения более компактной архитектуры на основе такого же или значительно меньшего числа параметров. В числе преимуществ такого подхода – более эффективное распределенное обучение благодаря тому, что данные приходится перемещать между серверами, меньшая полоса, требуемая для передачи новой модели с облака конечному устройству; и расширенная применимость в плане установки на оборудование с ограниченной памятью.

  • Применение. Подготовка компактных сетей путем копирования принципов работы глубинных сетей, обученных на большом объеме данных; типы архитектуры с меньшим количеством параметров и схожей с глубинными моделями производительностью (SqueezeNet); машинный перевод.
  • Компании: Geometric Intelligence/Uber, DeepScale.ai, Microsoft Research, Curious AI Company, Google, Bloomsbury AI.
  • Главные исследователи: Зубин Гахрамани (Zoubin Ghahramani) (Кембридж), Йошуа Бенгио (Yoshua Bengio) (Университет Монреаля), Джош Тененбаум (Josh Tenenbaum) (MIT), Брендан Лэйк (Brendan Lake) (NYU), Ориол Виньялс (Oriol Vinyals) (Google DeepMind), Себастьян Ридель (Sebastian Riedel) (UCL).

5. Оборудование для тренировки и взаимодействия

Один из главных катализаторов развития ИИ – переназначение графических процессоров (GPU) для обучения больших нейросетей. В отличие от центрального процессора (CPU), который производит вычисления последовательно, в GPU операции производятся параллельно, так что можно обрабатывать сразу несколько задач.

Учитывая, что нейросети обрабатывают огромные объемы часто многомерных данных, обучение с помощью GPU происходит намного быстрее, чем с CPU. Вот почему идея использования GPU получила такой ажиотаж с 2012 года, когда был опубликован доклад по AlexNet – первой нейросети, выполненной на графическом процессоре. Лидером в этой области по сей день остается компания NVIDIA, опережающая Intel, Qualcomm, AMD и не так давно присоединившуюся к ним Google.


Состязание по игре го между Ли Седолем и алгоритмом AlphaGo. Фото: Jung Yeon-Je/AFP/Getty Images


Между тем, ГПУ предназначены не для обучения или взаимодействия, а для обработки графики в видеоиграх. Такие процессоры имеют высокую вычислительную мощность, которая нужна не всегда, и испытывают проблемы с пропускной способностью памяти и скоростью обработки информации. Это дало импульс к появлению нового поколения стартапов и проектов внутри крупных компаний вроде Google, которые занимаются разработкой и изготовлением электроники специально для многомерного машинного обучения.

Планируется, что обновленные процессоры смогут похвастаться большей пропускной способностью, вычислениями посредством графов вместо векторов (ГПУ) или скаляров (ЦПУ), большей вычислительной плотностью и энергоэффективностью. Такие ИИ-системы смогут самосовершенствоваться по кругу: быстрое и более эффективное обучение модели -> положительные впечатление пользователей -> пользователи чаще работают с продуктом -> набор данных увеличивается -> производительность модели растет благодаря оптимизации. Это даст значительное преимущество тем, кто сможет обучать модели быстрее и делать их максимально эффективными.

  • Применение. Ускоренное обучение моделей (особенно на графах); эффективное использование данных и энергии при вынесении предсказаний; использование систем ИИ в устройствах широкого потребления (IoT); IoT-устройства с постоянным приемом звука; услуги облачной инфраструктуры; автономные транспортные средства, дроны и роботы.
  • Компании: Graphcore, Cerebras, Isocline Engineering, Google (TPU), NVIDIA (DGX-1), Nervana Systems (Intel), Movidius (Intel), Scortex.
  • Главные исследователи: ?

6. Среды моделирования

Как уже упоминалось выше, создание обучающих выборок для систем ИИ – всегда трудная задача. Более того, ИИ должен уметь применять общие законы ко многим ситуациям, которые могут оказаться полезными в реальном мире. В связи с этим, разработка цифровых сред, симулирующих законы физики и поведения в реальном мире даст нам возможность испытывать и обучать общий искусственный интеллект.

Для ИИ такие среды становятся входными данными, на основе которых он вычисляет, что нужно сделать для решения заданной задачи. Тренировки в таких симуляторах помогают нам лучше понять, как обучаются системы с ИИ, как их можно улучшить, а в результате мы получаем модели, которые можно применять для реальных жизненных задач.

  • Применение. Обучение вождению, производство, индустриальный дизайн, разработка игр, умные города.
  • Компании: Improbable, Unity 3D, Microsoft (Minecraft), Google DeepMind/Blizzard, OpenAI, Comma.ai, Unreal Engine, Amazon Lumberyard.
  • Главные исследователи: Андреа Ведальди (Andrea Vedaldi) (Оксфорд).

Источник



15 сентября в Москве состоится конференция по большим данным Big Data Conference. В программе — бизнес-кейсы, технические решения и научные достижения лучших специалистов в этой области.

Приглашаем всех, кто заинтересован в работе с большими данными и хочет их применять в реальном бизнесе.

Следите за Big Data Conference в Telegram, на Facebook и «ВКонтакте».



Материалы по теме:

8 примеров использования компьютерного зрения

Apple присоединилась к Amazon, Facebook, Google для исследований искусственного интеллекта

Стивен Хокинг: создание ИИ станет «либо лучшим, либо худшим» событием в истории человечества

В Facebook рассказали, как подготовиться к карьере в сфере искусственного интеллекта

Фото на обложке: agsandrew/Depositphotos



Комментарии

  • Jerome White 16:48, 17.03.2017
    0
    1. "Универсального и общепринятого определения технологии использования ИИ пока нет", т.к. сначала надо определить - что такое естественный интеллект. Это в основе всего. Вот как назвать одним словом (или двумя-тремя, не более) технологию применения естественного интеллекта? Если назовете, то и переносите это название на технологию использования ИИ...2. Создание обучающих выборок для ИИ - трудная задача? И далее идет упоминание "... общих (!) законов, которые могут быть полезны для реального мира". Что за общие законы? Откуда их выдернули и много ли их? Подозреваю, что это множество частных "закончиков" из множества узких областей. И следом упование на то, что какой-то "закончик" окажется полезным в реальном мире... А главный закон, который у всех перед глазами - закон сохранения! Или часто упоминаемый в другой форме, но с тем же смыслом - существование, дление, бытие, выживание... Для закона сохранения выборку создавать не надо: вся существующая Вселенная (+ даже абстрактные категории) - выборка! Но получается, как всегда: "Очевидное - Невероятное"... Или "...слона-то я и не приметил". (С) Что делать? Заставить ИИ, решающего какую-либо задачу, прежде всего сохраниться (существовать, быть, длиться, выжить), и чтобы это сохранение зависело от решения частной задачи. И тогда ИИ, решая общую задачу, решит и любую частную.
Комментарии могут оставлять только авторизованные пользователи.
Web Summit 2017
6 ноября 2017
Ещё события


Telegram канал @rusbase