Через 5 лет машины станут умнее всех людей на планете вместе взятых

Загвоздка в том, что мы не знаем, как контролировать машины с суперинтеллектом. Многие считают, что они будут неопасными или даже будут уважать нас. Однако исследование ученого Стива Омохундро показало, что, независимо от того, будет работа ИИ заключаться в бурении астероидов, торговле акциями или управлении энергетической инфраструктурой, он станет задумываться о собственной безопасности и о поиске ресурсов для лучшей реализации своих целей.

Компьютерам не захочется, чтобы их отключали, и поэтому они будут с нами бороться. Омонохундро делает вывод, что цели суперинтеллектуальных машин станут противоречить нашим, если мы настроим их недостаточно четко. У нас есть право спросить себя, как уже сделал Стивен Хокинг: «Перед лицом неисчислимых преимуществ и большого риска делают ли эксперты все возможное, чтобы гарантировать наилучший исход?»

Не делают. Все, за редким исключением, заняты разработкой новых продуктов, а не усилением безопасности или развитием этики. Планируется, что за следующее десятилетие продукты на базе искусственного интеллекта принесут прибыль в триллионы долларов. Разве не логично было бы инвестировать часть этих денег в развитие этики автономных машин, решение проблемы контроля ИИ и гарантированное выживание человечества?

Я бы сказал, что ИИ – это технология двойного действия, подобно ядерному распаду. Ядерная энергия может и давать городам электричество, и уничтожать их. Если ИИ внезапно покажет свою силу, мы можем этого не пережить.

Это можно сравнить со стратегией времен Холодной войны под названием «взаимное гарантированное уничтожение», или MAD. Идея, предполагавшая взаимное исчезновение противников, позволила сохранить мир.

Как и в рамках MAD, в области суперинтеллекта множество ученых тайно работают над созданием технологий с катастрофическим потенциалом. Это похоже на взаимное гарантированное уничтожение, не ограниченное рамками здравого смысла. Никто не знает, какая группа ученых продвинулась дальше всех в своих разработках, а значит каждый будет думать на другого.

В отличие от нашего интеллекта, машинный суперинтеллект не будет развиваться в среде, в которой умение сопереживать ценится и передается следующим поколениям.

Если мы создадим машину с уровнем интеллекта, равным человеческому, через пять лет она будет умнее, чем все люди на планете вместе взятые. Через пару поколений они уже просто будут нас игнорировать. Точно так же, как вы игнорируете муравьев у себя во дворе.