Последствия создания искусственного интеллекта

Давайте представим, что же может произойти после реального появления искусственного интеллекта. При текущей скорости прогресса первые дни после этого события могут стать самым опасным временем в истории человечества.

Интеллектуальные Системы

Наступит эра господства слабого и ограниченного искусственного интеллекта, очень опасной комбинации, которая сможет нанести непоправимый ущерб существующей цивилизации. Именно поэтому мы должны быть готовы к такому развитию событий.

Для начала, давайте определимся со значением некоторых терминов. Технологическая сингулярность, о которой многие наверняка уже слышали, представляет собой гипотетический момент появления рекурсивного улучшения искусственного интеллекта (искусственный сверхразум), значительно превосходящего человеческий или развития могучего, подобного человеческому, искусственного интеллекта (ИИ). Особое беспокойство вызывает возрастание использования слабого ИИ в качестве экспертной системы, соответствующей человеческому интеллекту или даже превосходящей его, в конкретной узконаправленной области. Следствием этого может стать независимая и бесконтрольная работа этих систем.

Сингулярность

Под понятием сингулярности зачастую ошибочно понимают искусственный интеллект, который просто умнее человека. Однако, это не так. Большая часть из созданных образцов ИИ уже превышают человеческие возможности. Однако современный искусственный интеллект недостаточно сложный и продвинутый, чтобы причинить значительный ущерб инфраструктуре человечества. Проблемы появятся, когда в случае сингулярности искусственный интеллект начнет многократно улучшать самого себя.

По словам математика Ирвина Джона Гуда (I. J. Good), событие сингулярного перехода будет подобно интеллектуальному взрыву, который действительно, как бомба, поразит нас. Контроль человека над машинами

навсегда будет отодвинут на второй план.

С другой стороны, бедствий или катастроф, вызванных предсингулярным искусственным интеллектом, можно будет избежать. Но лишь отчасти. Они, скорее всего, будут являться результатом выхода из под контроля экспертной системы или супер-сложного алгоритма. Особое беспокойство вызывает скорость, с которой искусственный интеллект будет наносить ущерб. К тому времени, когда мы осознаем, что происходит, уже может случиться что-то непоправимое.

Узкоспециализированный ИИ сможет обесточить электрические сети, повредить атомные электростанции, вызвать мировой экономический коллапс, неправильно направлять автономные транспортные средства и роботов, взять под контроль завод или военный объект или выпустить вирус какого-нибудь опасного инфекционного заболевания, то есть создать проблему с которой будет трудно справиться (как в цифровом, так и в реальном мире). Его возможности пугающе бесконечны.

Наша инфраструктура становится все более цифровой и взаимосвязанной - и как следствие, более уязвимой. Через несколько десятилетий она будет хрупкой, как стекло, при этом большая часть человеческой деятельности станет зависимой от нее.

И это действительно возможно

Еще в 1988 году Роберт Моррис (Robert Morris) - студент Корнельского университета - создал программу, которая может оценить размер Интернета. Он научил программу нескольким хитрым трюкам, чтобы помочь ей легче справляться со своей работой, в том числе научил использовать известные уязвимости в популярных программных утилитах, работающих на UNIX. Это позволило программе взломать эти машины и копировать саму себя, таким образом заражая эти системы.

2 ноября 1988 года Моррис представил свою программу миру. На протяжении нескольких дней она быстро распространялась по тысячам компьютеров, нарушая нормальную деятельность и подключение к Интернету. По некоторым оценкам, стоимость ущерба составила от 10.000 до 100.000 долларов. Программа, прозванная Червь Морриса ( "Morris Worm"), считается первым компьютерным червем в истории человечества. Она побудила Агентство по перспективным оборонным научно-исследовательским разработкам США (DARPA) профинансировать создание Координационного центра реагирования на компьютерные инциденты (CERT / CC) при Университете Карнеги-Меллона (Carnegie Mellon University), чтобы предвидеть и вовремя реагировать на этот новый вид угрозы.

Вывод, который можно было сделать в результате этого инцидента, был прост: несмотря на наши самые лучшие намерения, подобные инциденты будут происходить. И пока мы продолжаем развивать и продвигать наши технологии всегда есть шанс, что они будут работать не так, как мы ожидаем, - и даже могут выйти из-под контроля.

С точностью до миллисекунды

В действительности непредвиденные последствия и их предотвращение - это совершенно разные вещи. Нашим технологиям все чаще приходится работать на запредельном уровне современных возможностей. Лучший пример этого можно привести из мира высокочастотной торговли (HFT).

В мире HFT торговля ценными бумагами происходит на очень высоких скоростях. Это обусловлено использованием мощных компьютеров и алгоритмов. Одна инвестиционная позиция может быть активна в течение нескольких минут или миллисекунд; за одну секунду может быть произведено более чем 500 сделок. Этот тип компьютерной торговли обеспечивает заключение тысяч и тысяч сделок в день, для каждой из которых используются супер-сложные скрипты. Трейдеры могут просто сидеть сложа руки и смотреть на то, как с головокружительной скоростью осуществляются операции.

Самый значительный единичный инцидент, связанный с HFT, произошел 5 мая 2010 года в 2:45. В течение примерно пяти минут промышленный индекс Доу-Джонса упал на 1000 пунктов (около 9%), в течение которых рынок потерял около 1 трлн. долларов. Около 600 пунктов были восстановлены только через 20 минут. Это событие теперь называют Черным вторником (2010 Flash Crash), вторым по величине биржевым обвалом в истории и самым значительным однодневным падением индекса.

Без сомнения, мы уже находимся на той стадии, когда работа компьютеров превышает наше понимание того, как и что они делают. Одним из лучших примеров этому является Watson - суперкомпьютер компании IBM, оснащенный системой искусственного интеллекта. В 2011 году он победил лучших игроков в мире в американской телевикторине Jeopardy! Чтобы заставить его работать, разработчики суперкомпьютера Watson написали ряд программ, которые будучи собраны вместе создали всеобъемлющую игровую систему. И даже сами разработчики не до конца понимают, как она работает.

Опять же, это важное различие, которое должно быть сделано при оценке потенциала сильного ИИ. Узкоспециализированные системы чрезвычайно мощные, но они также крайне “глупы” и полностью лишены здравого смысла. При получении системами достаточной ответственности и автономии, их неправильные ответы или решения могут принимать катастрофический характер.

Другим примером может послужить недавний почин предоставить роботам свой собственный интернет. Предоставляя информацию и обмениваясь ею между собой даже не запрограммированные роботы смогут учиться. Несмотря на это, проблемы могут возникнуть в случае, когда инструкции для выполнения задачи не соответствуют друг другу и, как результат, появляются ошибки ИИ. Глупый робот, действующий не опираясь на здравый смысл, просто выполнит задачу даже при неправильных инструкциях. Можно только представить, какой ущерб через 30 - 40 лет сможет, пускай даже случайно, сделать неопытный хакер с чужим скриптом.

Кроме того, вскоре экспертные системы, такие как Watson, смогут давать ответы на вопросы, находящиеся за пределами нашего понимания и мы не всегда будем знать на сколько верно они отвечают. Это устрашающая перспектива.

Трудно точно узнать как, когда и где произойдет первая настоящая катастрофа, вызванная искусственным интеллектом. Но можно с уверенностью утверждать, что у нас в запасе есть еще несколько десятилетий. Наша инфраструктура прочна и еще не достаточно интегрирована, чтобы с ней могло случится что-то действительно страшное. Но в 2040-х годах (если не раньше) наш полностью цифровой и более взаимосвязанный мир будет гораздо более уязвим перед такого рода угрозами.

Со временем наша энергетическая инфраструктура (электрические сети, атомные электростанции и т.д.) может стать уязвимой для ошибок и преднамеренных атак.

Уже сегодня существует предположение о разработках специальных невероятно сложных компьютерных вирусов с целью кибер-шпионажа и кибер-оружия.

В будущем более продвинутые версии ИИ, скорее всего, смогут не только проникать в компьютерные системы врага или конкурента, но и смогут перепрограммировать или даже целиком взять их под контроль, нанося ужасный урон. Но, как продемонстрировал инцидент с Червем Морриса, очень трудно предсказать последствия этих действий, особенно при работе с автономным, самовоспроизводящимся кодом. Это также может привести к гонке вооружений в сфере ИИ, разработке каждой стороной программ и контр-программ, чтобы получить преимущество над технологиями другой стороны.

И хотя может показаться, что такое видение будущего взято из научно-фантастического романа, катастрофа, вызванная ИИ, может также включать преднамеренный или случайный захват любой системы, работающей под управлением искусственного интеллекта. Это может быть военная техника, беспилотные транспортные средства (включая самолеты), роботы и заводы. Если нечто подобное произойдет, то задача будет заключаться в скорейшем отключении вредоносного скрипта (или исходной программы), что может быть нелегкой задачей.

В годы, непосредственно предшествующие началу самостоятельного улучшения искусственного интеллекта, узкоспециализированный ИИ может быть использован (опять же, намеренно или непреднамеренно), для выполнения неясно сформулированной задачи. Мощная система может повысить приоритет определенных аспектов или сильно понизить приоритет других. Это может привести к радикальным изменениям в мгновение ока.

Будем надеяться, что если это когда-нибудь и произойдет, то будет вовремя остановлено и приведет к относительно небольшим по своим масштабам последствиям. Но эти события, скорее всего, послужат призывом к действию по предотвращению более катастрофических событий. И сейчас, анализируя эти возможности, мы должны убедиться в том, что наши системы безопасны, умны и надежны.

Источник