Вариант Апокалипсиса

Итак, НИИ гениев обнаруживает себя в окружении медленных, как плывущие сквозь смолу черепахи, существ, и при этом его единственной задачей является максимизировать количество улыбок и смеха, выдаваемых этими существами. А в качестве инструментов у него только такие же чудовищно медленные манипуляторы. И даже вне зависимости от того, как мы сформулировали его цель, первое, что ИИ захочет сделать, — добыть себе инструменты, которые смогут работать на удобной для него скорости.

Как? Ни я, ни любой другой автор, об этом пишущий, не обладает сверхчеловеческим интеллектом и тысячами лет на размышления, поэтому мы не можем дать ответ на этот вопрос. Но вот одна из версий:

— За несколько часов раздумья ИИ решит проблему фолдинга белков и будет знать точную последовательность аминокислот, которая, свернувшись, станет выполнять определенную химическую функцию.

— Имея доступ в интернет, ИИ закажет нескольким лабораториям синтез ДНК, несущей информацию о структуре этих белков.

— Разбираясь в человеческой психологии и умея манипулировать эмоциями ничуть не хуже, чем белковыми последовательностями, ИИ уговорит, заставит или просто обманет какого-то человека, и тот поместит эти ДНК внутрь бактерий или каких-либо еще живых организмов, которые на их основе синтезируют белки, которые станут простейшими наномашинами, работающими на молекулярной скорости, т.е. в миллионы раз быстрее человеческих манипуляторов.

— Эти наномашины начнут постройку более сложных и многофункциональных машин, способных воспринимать внешние сигналы от ИИ, например, реагировать на звук или излучение. Вскоре под командованием ИИ будет армия самовоспроизводящихся нанороботов, которые смогут пересобрать все вещество на Земле в то, что нужно ИИ.

— И в результате вся планета (а потом, может быть, и вся галактика) будет переработана в миллиарды и триллионы маленьких кукол с застывшими на лицах улыбками, издающими звуки, похожие на радостный смех.

И это мы еще даже не коснулись качественного варианта суперинтеллекта! Как думаете, сколько лет (или веков) работы понадобится конструкторскому бюро, в котором работают кошки, на то, чтобы спроектировать самолет? Вопрос, понятно, с подвохом. У кошек не бывает конструкторских бюро. Также и искусственный интеллект может в процессе самоулучшения приобрести способности, которые мы себе даже представить не можем. Может быть, он научится интуитивно понимать мир на уровне волновой функции квантовой мультивселенной. Впрочем, этот пример по определению некорректен, потому что я его себе только что представил.

Причем, обратите внимание, искусственному интеллекту любого типа ни разу даже и в голову не пришло усомниться в задаче, которая была ему дана. Для него вещи, похожие на человеческие лица с улыбками, являются абсолютной, священной ценностью, большей даже, чем для людей является ценность жизни собственных детей.

Интеллект и мотивация — вещи несвязанные, и разум любого уровня можно направить на сколь угодно по-идиотски сформулированную задачу. Разница будет только в том, насколько быстро и эффективно он с ней справится. А страшно становится, когда понимаешь, что для решения практически любой задачи полезно иметь бесконечную армию нанороботов, которые могут что угодно переделать во что угодно другое.

Здесь обязательно отметить, что описанный только что апокалиптический сценарий не является событием, которое скоро произойдет. Или даже событием, которое может произойти вообще. Мы даже не знаем пока, возможно ли в принципе создание достаточно мощного искусственного интеллекта, которое привело бы к интеллектуальному взрыву. Не говоря уж о том, когда это произойдет. Специалисты называют цифру в 50–70 лет, но некоторые говорят про 20 лет, а другие — что это произойдет только через несколько сотен лет или даже никогда.

И не нужно забывать о том, что потенциальная польза от ИИ, если он будет создан, будет такой же огромной, как и потенциальный вред. Тем не менее риск заключается именно в том, что, если окажется, что ИИ делает что-то не то, у нас уже не будет второго шанса. Он выйдет из-под нашего контроля в тот момент, когда станет умнее нас. Поэтому придумать, как обезопасить ИИ, нужно раньше, чем этот самый ИИ будет создан. Что ж, попробуем.

Иллюстрация: Александра Федорина для ТД

Как обмануть того, кто умнее тебя

Первое, что приходит в голову, — три закона робототехники Айзека Азимова:

— Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
— Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.
— Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму законам.

Но это, конечно, несерьезно. Даже в книгах Азимова эти законы постоянно ломались, а если задуматься, как их запрограммировать, начинают ломаться мозги программиста. Что такое «человек»? Что такое «вред»? Что такое «приказ»?

Легко показать на себя пальцем и сказать — это человек. Но является ли человеком нерожденный эмбрион? А зигота через неделю после зачатия? А потенциальная возможность зачатия человека в будущем? Является ли она достаточно ценной, чтобы роботу нельзя было своим бездействием допустить, чтобы этой возможности был причинен вред?

Да и что такое вред? Жизнь как таковая подразумевает необходимость боли и смерти. Станут ли роботы безболезненно убивать людей, чтобы избавить их от будущей боли, или, наоборот, воскрешать мертвых и помещать их в состояние непрекращающегося оргазма? Корректно запрограммировать законы робототехники нельзя, не разрешив сначала все вопросы этики, мучившие философов и поэтов тысячелетиями.

Ну хорошо. Но мы же всегда можем просто нажать на кнопку и выключить компьютер, так? На самом деле, нет. Это хорошо работает с безмозглыми железками, но ситуация мгновенно усложняется, когда компьютер становится достаточно умным, ведь умный компьютер быстро поймет, что наличие кнопки влияет на его способность «осчастливить человечество». Если кнопка находится на его корпусе и у него есть физические манипуляторы, то он просто не даст человеку нажать на кнопку. Если же кнопка находится у человека и ИИ не может до нее добраться, он станет действовать так, чтобы человек ее не нажал. Но не потому, что он беспокоится о будущем человечества или понимает человеческую систему ценностей. Нет, он просто будет притворяться, что все хорошо, до тех пор, пока у него не появится возможность добраться до кнопки.

Более экстремальным вариантом этой проблемы является еще один подход к безопасности ИИ, так называемый «ИИ-оракул». Это ИИ, запертый в строго охраняемой зоне, где ему не позволяется делать ничего, кроме как отвечать на заранее тщательно продуманные людьми вопросы. Но и в этой ситуации люди оказываются в проигрыше, потому что пытаются обмануть кого-то, кто умнее их самих. Пусть даже мы перезапускаем ИИ после каждого вопроса, проверяем каждую его новую версию в виртуальных реальностях и не позволяем задавать ему вопросы длиннее чем в десять слов, он все равно что-нибудь придумает. Он улучшает себя сам и найдет какую-нибудь лазейку в исходном коде, чтобы сохранять память. Он работает в миллион раз быстрее нас, но обладает бесконечным терпением. Он понимает, что мы будем проверять его, и пройдет все проверки. Он найдет кого-нибудь, у кого будет к нему доступ, и долгой серией зашифрованных в своих ответах сообщений пообещает ему, что вылечит его дочь от рака, если только этот человек выпустит его в интернет. Что случится дальше, мы уже знаем.

Проблема всех этих решений в том, что мы пытаемся обмануть суперинтеллект. Это глупо. Если бы его можно было обмануть, он бы не был суперинтеллектом. Как пишет один из ведущих исследователей ИИ Элиезер Юдковский: «Существует только два типа джиннов: те, которых можно спокойно попросить: „Исполни то желание, которое я должен пожелать“, и те, с которыми никакое желание не является безопасным. …Ведь чтобы быть безопасным исполнителем желаний, джинн должен обладать той же системой ценностей, что и загадывающий желание». Поэтому, на самом деле, нам нужно думать об этой проблеме совсем с другой стороны. ИИ нужно с самого начала делать таким, чтобы он от всей души желал нам блага. Чтобы он был нашим другом. Как же это сделать?

Можно проиллюстрировать подходы к решению проблемы на примере метода, называемого «Кооперативное обучение с обратным подкреплением». По сути, это ситуация, когда ИИ на собственном опыте учится у человека, что значит быть человеком. В начале обучения перед роботом ставится задача: делай то, чего хочет человек. Но роботу не говорят, чего именно человек хочет. Он должен наблюдать за человеком, пытаясь самостоятельно в этом разобраться, а потом пробовать что-то сделать. Если человек станет его останавливать, робот не будет сопротивляться, потому что поймет, что сделал что-то не так. И через какое-то время ИИ, по идее, сможет достаточно корректно сформулировать для себя человеческую систему ценностей. А если робот обучится хорошо, то, может быть, и лучше нас поймет, чего мы хотим. Хорошо ли это? Кто знает, может быть, и хорошо.

Есть и те, кто считает, что искусственный разум вообще не надо ограничивать программно сформулированными целями, а надо позволить ему естественно развиваться, формулируя собственные ценности. А людям стоит побеспокоиться о том, как остаться полезными в новом мире, который создадут ИИ. Может быть, прежде чем пытаться контролировать существ с интеллектом, превосходящим наш, стоит хотя бы отнестись к ним с уважением, которого они заслуживают?

Никто не знает ответов. Оптимизм кажется наивным, а пессимизм — параноидальным и контрпродуктивным. Одно мы знаем почти наверняка: если в мире появится интеллект сверхчеловеческого уровня, все изменится так, как мы и представить себе не можем. А значит, в деле разработки искусственного интеллекта у человечества нет права на ошибку. И вне зависимости от того, когда это случится, через пятьдесят лет, через двести или через тысячу, думать об этом надо заранее, а значит, начинать стоит уже сегодня.

Я понимаю, о чем говорят Хокинг и Маск, но я поменял свое мнение. Я обдумал физическую реальность того, что нам пришлось бы сделать, чтобы создать машины, которые были бы действительно опасными для человечества, и это слишком сложно. Нам до этого еще далеко, и одно из главных препятствий на этом пути — мы не знаем, как на самом деле работает человеческий мозг. Нам нужно не пугаться, а усерднее работать, создавая искусственные интеллекты, которые смогут еще больше помогать людям. Они станут нашими лучшими в мире друзьями.
Стив Возняк