27 мая 2013

Нравственность роботов и съеденное сердце

"...Из кустарника справа от строений вывалился еще один довольно странный робот: низенький, толстый, похожий на пингвина, на коротких ножках-гусеницах. Он остановился в пяти шагах. Вид у него был глуповато-самодовольный, в щелках- глазках мелькали разноцветные искорки, к рычагам-рукам намертво прикреплено что- то похожее на два пистолета. Робот прохрипел:

- Не разговаривать! Оправдания бесполезны. Там разберемся. Следуйте за мной!

...робот сказал тоном, не предвещающим ничего хорошего:

- Не замедлять движения, дистанция между нами - три метра. Во избежание неприятностей.

- А неприятностями он считает выстрел в живот, - проворчал Костя. - Ты заметил, что он все время целится мне в живот?.. От этого железного идиота всего можно ожидать"

Сергей Жемайтис, "Вечный ветер" (1970) Прошедшая теленеделя была полна поразительных новостей из разных уголков земного шара. Замерев от ужаса, я смотрел на то, как торнадо разрушает Техас, а в Миннесоте снежные сугробы ползут по городу с немалой скоростью, раздавливая дома и сминая машины; я с сочувствием смотрел на ослепительную Анжелину Джоли, решившуюся на удаление обеих грудей (из-за высокого риска развития рака), и с восхищением - на сэра Пола Маккартни, которого во время концерта в Бразилии буквально завалило саранчой (экс-битла, правда, ничем не смутишь - он быстро сориентировался и сумел сделать насекомых частью своего шоу, разговаривая с ними, а одному из насекомых даже дал имя) и с замиранием сердца наблюдал за российскими учеными, заполучившими, наконец, для анализа образцы воды из антарктического подледного озера "Восток" (говорят даже, что в воде из озера, остававшегося "закупоренным" в течение многих миллионов лет, нашли некий неизвестный науке микроорганизм; теперь ученые уверяют, что могут представить себе, как выглядит жизнь на Марсе)... В общем, прелюбопытнейшей информации хватало. Но мое сознание выделило две новости, поразившие меня больше остальных; вокруг них я и решил построить данную "Телегазету".

По сообщению CNN, на сайте Управления Верховного комиссара ООН по правам человека появился доклад, подготовленный Кристофом Хайнсом, одним из крупнейших специалистов в мире по вопросам гуманитарного права. Доклад будет представлен в Женеве в конце мая месяца. Среди озвученных рекомендаций - призыв к немедленному мораторию на создание автоматических боевых систем, создание международного органа для регуляции политики в отношении боевых роботов, и этический кодекс разработчиков. Проще говоря, ООН беспокоит нравственность боевых роботов...

Речь идет о так называемых LARS - "смертельных автономных роботах" (автономных системах, способных вести бой без участия человека). По утверждению Кристофа Хайнса, главная проблема в использовании таких систем - снижение ценности человеческой жизни оппонента (иными словами, для стреляющей самоходной железяки жизнь человека-противника не стоит ни гроша). И еще - использование таких систем в конфликтах против войск, не обладающих схожими технологиями, может привести к катастрофическим для этих стран последствиям (условно говоря, сотня-другая американских роботов, ведущих боевые действия против,
скажем, Ирана, быстренько его "лунизируют" (термин "лунизация" выдуман не мной; его придумали американские летчики, беспощадно бомбившие Вьетнам в 60-х - 70-х годах прошлого века; после массированных и "ковровых" бомбардировок, а также после применения напалма многие земли Вьетнама действительно стали походить на Луну; и, если на такое оказались способны люди, то что же натворят роботы?! Да любое торнадо отдыхает!)). Вместе с тем Хайнс отмечает, что роботы лишены многих недостатков, присущих живым солдатам - машины не действуют, исходя из мести, руководствуясь злостью, ненавистью или страхом; кроме того, роботы не насилуют и не причиняют жертвам излишние страдания (тут Хайнс оговаривается: "если это не предусмотрено программой"; ничего, да? То есть предполагается специальная садистская программа для боевых роботов! Ну как тут не вспомнить Станислава Лема и его "свихнувшихся" на садизме роботов из "Одиннадцатого путешествия Ийона Тихого"?).

По данным Кристофа Хайнса, в настоящее время сразу нескольких стран есть почти полностью функциональные LARS-системы. В США это Phalanx, предназначенный для автоматической защиты кораблей от угроз с воздуха - от ракет и самолетов, а в Израиле - беспилотные летательные аппараты, предназначенные для борьбы с радиолокационными установками.

Поскольку речь зашла о роботах, еще совсем недавно считавшихся фантастикой, а ныне занимающих все более и более прочное место в нашей жизни, мне никак не обойтись без ссылок на научную фантастику, которая тему боевых роботов эксплуатирует уже давно. И я даже не "Терминатор" имею в виду. Еще полвека назад читатели могли найти боевых роботов и у Сергея Жемайтиса ("Вечный ветер"), и у Рэя Брэдбери ("Фаренгейт: 451"), и у Кира Булычева ("Остров ржавого лейтенанта"), и у Станислава Лема ("Кибериада")... Буквально на днях на канале TV 3 показали фильм Федора Бондарчука "Обитаемый остров", снятый по одноименному фантастическому роману братьев Стругацких. Молодой землянин Максим Каммерер, житель XXII века, в результате аварии своего космолета попадает на планету Саракш, в так называемую Страну Отцов, управляемую группой анонимных диктаторов (саракшианцы по виду неотличимы от земных людей, поэтому они принимают человека Земли "за своего", хоть и за большого чудака). Наивный и доверчивый Максим дает вовлечь себя в подпольную террористическую деятельность. Будучи схвачен представителями власти, Максим попадает в специальный концентрационный лагерь, находящийся в обширных дремучих джунглях. За два десятилетия до описываемых событий Страна Отцов воевала с сопредельным государством Хонти, война шла с применением атомного оружия, а потом как-то сама собою стихла, хотя перемирия никто не объявлял. Солдаты из радиоактивных джунглей ушли, а вот роботы остались: повинуясь раз и навсегда заложенной в них программе убивать, они продолжают сеять смерть. Максим попадает в группу смертников, занятую расчисткой джунглей от боевых машин - ежедневно, квадрат за квадратом; в большинстве случаев заключенные обезвреживают роботов ценой собственной жизни...

К сожалению, в фильме Бондарчука этот момент выражен не так ярко, как в романе, поэтому я предоставляю слово Стругацким (цитирую по каноническому изданию 1971 года): "...обманул Максима и лес. Здесь шагу нельзя было ступить, не наткнувшись на железо: на мертвое, проржавевшее насквозь железо; на притаившееся железо, готовое во всякую минуту убить; на тайно шевелящееся, целящееся железо; на движущееся железо, слепо и бестолково распахивающее остатки дорог. Земля и трава отдавали ржавчиной, на дне лощин копились радиоактивные лужи, птицы не пели, а хрипло вопили, словно в предсмертной тоске, зверей не было, и не было даже лесной тишины - то справа, то слева бухали и грохотали взрывы, в ветвях клубилась сизая гарь, а порывы ветра доносили рев изношенных двигателей...

...лес не был лесом, а был древним укрепленным районом. Он был буквально нафарширован автоматическими боевыми устройствами, самодвижущимися пушками, ракетами на гусеницах, огнеметами, газометами, и все это не умерло за двадцать с лишним лет, все продолжало жить своей ненужной механической жизнью, все продолжало целиться, наводиться, изрыгать свинец, огонь, смерть, и все это нужно было задавить, взорвать, убить, чтобы расчистить трассу...

...Максим с ожесточением разряжал мины, выламывал из гнезд спаренные пулеметы, свинчивал боеголовки у зенитных ракет, торчавших из раскрытых люков; снова были огонь, смрад, шипящие струи слезоточивых газов, отвратительная вонь от разлагающихся трупов животных, расстрелянных автоматами..." (конец цитаты). Как видите, обитатели планеты Саракш не очень-то заморачивались по поводу нравственности роботов. Вскользь замечу, что нравственность людей заботила их еще меньше...

Над боевыми роботами в свое время "классно прикололся" знаменитый американский фантаст Роберт Шекли. В его рассказе "Битва" описывается библейский Армагеддон - тот самый, в котором человечеству суждено сойтись в Последней Битве со всеми силами ада. Объединенное командование Вооруженных Сил Земли для пущей надежности решает вести войну с помощью огромной армии роботов ("Нам же неизвестна сила сатанинских полчищ. Мы обязаны бросить в бой все лучшее, что у нас есть. А это означает - автоматические армии, роботы-перехватчики, роботы-танки, водородные бомбы",- говорит Верховный главнокомандующий). Священнослужитель, добившийся аудиенции у Верховного главнокомандующего, настойчиво просит допустить для участия в Битве Господней людей. Главнокомандующий категорически против. "Мы не имеем права рисковать, - говорит он. - Можем мы в этом случае быть уверенными в победе?" ...Введение хрупкого человеческого материала могло только все испортить. Никакая живая плоть не выдержала бы грохота этой атаки механизмов, высоких энергий, пронизывающих воздух, всепожирающей силы огня. Любой человек погиб бы еще в ста милях от поля сражения, так и не увидев врага" (конец цитаты). Далее следует описание грандиознейшей битвы между адскими полчищами и механической армией, которой дистанционно управляют военные. Победу одерживают люди, силы ада полностью разгромлены. И тут на поле боя снисходит Господь с ангелами. Изумленные генералы видят на экранах, как покореженные роботы-пехотинцы, роботы-танки и роботы- истребители взмывают в небо, окруженные сиянием. Господь брал в рай роботов! А что, все по справедливости - кто сражался, тому и почет... Генералы, конечно, спешно садятся в самолет и мчатся к полю битвы, но... "было уже поздно: Армагеддон кончился, роботы исчезли, и Господь со своим воинством удалился восвояси".

У этой проблемы есть еще один, весьма серьезный аспект. Фантасты разных стран и разных эпох ожесточенно дискутировали по поводу того, может ли робот быть убийцей и вообще - причинить человеку, создателю своему, определенный вред. Существенный вклад в эту дискуссию внес знаменитый американский фантаст Айзек Азимов, сформулировавший так называемые "Три закона робототехники" (весьма кстати на канале "Кинохит" прошел фильм "Я, робот", снятый режиссером Алексом Пройасом в 2003 году по мотивам одноименной азимовской повести, с неподражаемым Уиллом Смитом в главной роли). Для тех, кто не в курсе, поясняю: по мысли Айзека Азимова, в каждый позитронный мозг будущего робота вводятся три базовых закона, нарушить которые робот не сможет, а если даже и попытается, вольно или невольно, - то неизбежно разрушит сам себя. Закон первый: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. Закон второй: робот должен выполнять все команды человека кроме тех случаев, когда они противоречат Первому закону. Закон третий: робот должен заботиться о собственной безопасности, но так, чтобы это не противоречило Первому и Второму законам. Вот и все. И никакого "бунта машин". И любой человек на Земле может чувствовать себя спокойно, зная, что ни один робот не перережет ему глотку по собственной инициативе или по команде какого- нибудь злодея...

Но все это законы, заложенные в "позитронный мозг" непосредственно при изготовлении. Врожденные, так сказать, свойства. А вот способны ли роботы проявлять человеческие чувства - например, жалость, сострадание? Этот вопрос занимал многих фантастов. И некоторые из них считали, что да, способны. Я помню рассказ Б.Гурфинкеля "Эмоция жалости", опубликованный в альманахе "Фантастика-65". Действие рассказа происходит в Японии примерно 70-х годов ХХ века. Некая компания испытывает новейший сверхскоростной поезд "Дэнси-даймэ", управляемый искусственным интеллектом. Пробный рейс идет без пассажиров. Где-то на маршруте следования на рельсы выскакивает маленький японский мальчишка. Он привык перебегать железнодорожное полотно перед обычными поездами, но вид несущегося прямо на него сверхскоростного экспресса повергает ребенка в ступор. Искусственный интеллект поезда в доли секунды анализирует ситуацию: экстренное торможение ничего не даст, ибо инерция слишком уж велика. Единственный способ спасти жизнь мальчика - это сойти с рельсов. И "Дэнси-даймэ" сам себя сбрасывает под откос... Представители компании, создавшей сверхскоростной экспресс, в ярости: какие колоссальные убытки - и все из-за сопляка, выскочившего на рельсы, а также из-за компьютера, невовремя проявившего "эмоцию жалости"! Уж лучше бы экспресс раздавил мальчишку, зато сам остался бы цел! Получается, в данном случае робот оказался куда человечнее людей...

Но вернемся к реальности. Это, конечно, хорошо, что кто-то озабочен нравственностью роботов-убийц. Это дело нужное, а кто считает иначе - пусть первый бросит в меня камень... Да. Но меня повергает в уныние дикий нравственный контраст. Ибо пока одни люди думают о том, как сделать гуманнее боевых роботов, кое-кто из людей опустился настолько, что ведет себя как самый настоящий троглодит.

В новостях на канале "Россия-24" я увидел шокирующую сцену, которая была показана по всем телеканалам мира, а также выложена в Интернете. В Сирии один из "повстанцев", убивший солдата правительственных войск, вскрыл грудную клетку поверженного противника, вырвал у того сердце и съел его, глядя прямо в камеру. При этом он сказал что-то вроде "...так будет с каждым...". Я долгое время сидел перед "плазмой", обдумывая увиденное и собираясь с мыслями. Ну как мне отнестись к этому? Если с точки зрения цивилизованного человека XXI века - то это, несомненно, дикость и преступление. Если с точки зрения первобытного воина, который дремлет в каждом из нас, а, значит, и во мне тоже - это вполне естественная, я бы даже сказал, нормальная вещь. Объяснимый ритуал. Но если мы признаем такие вещи нормальными - значит, мы незаметно для себя уже стали троглодитами. Впрочем, о моральной деградации Homo Sapiens (то есть превращении цивилизованного человека в первобытного дикаря) фантасты тоже очень много писали. Ограничусь парой-тройкой признанных классиков - Герберт Дж. Уэллс ("Машина времени"), Джек Лондон ("Алая Чума"), Александр Казанцев ("Внуки Марса")...

Но удивительнее всего то, что ООН, та самая Организация Объединенных Наций, которая обеспокоена нравственностью боевых роботов, вынесла на обсуждение резолюцию в поддержку сирийских повстанцев - а значит, и того субъекта, который демонстративно съел человеческое сердце. Что там говорил Кристоф Хайнс о "снижении ценности человеческой жизни оппонента"?

Очеловечивание роботов и одичание людей... Парадокс? Несомненно. И вот этот-то парадокс пугает меня больше всего - больше, чем преступления, войны, торнадо, снежные лавины, метеориты и конец света, который все никак не наступит...
Источник

Комментариев нет:

Отправить комментарий

Спасибо за ваш комментарий.
Он будет опубликован после проверки.