Опасности искусственного интеллекта

В последние годы мы видим взрывообразное развитие исследований и разработок в области искусственного интеллекта (ИИ) – и всё чаще слышим опасения о том, что их про­должение може представлять угрозу для самого существования человека. Такие опасения выска­зывают философы, футуро­логи, журналисты — в общем, все, кому не лень. Примерно эти же люди ещё недавно с уверен­ностью заявляли, что ИИ принци­пиально невозможен, про­являя примерно ту же степень по­нимания проблемы. Сейчас, когда искусственные интелекты ищут для нас информацию в Интернете, подбирают билеты на авиарейсы, ставят медицинские диагнозы лучше врачей и играют против нас в компьютерных играх — в общем, постепенно начинают окружать нас со всех сторон — отрицать возможность их существования уже как-то неловко. А вот проблема их безопасности далеко не так проста.

Немного терминологии

В дискурсе искуственного инеллекта царит терминологический хаос. Мы здесь будем использовать следующие определения и сокращения:

• Искусственный интеллект, ИИ (англ. Artificial Intelligence, AI)— искусственно созданная сущность (программа, устройство), способная решать задачи, которые принято называть интеллектуальными. Последний термин не имеет общепринятого значения но, в целом, это те задачи, которые умный человек решает лучше глупого.

Наиболее часто приходится слышать опасение что, достигнув некоторого уровня, ИИ «осознает самого себя» и решит, что люди ему не нужны и даже мешают. Классическим примером подобного представления является Скайнет в серии фильмов о Терминаторе. Что такое «осознание самого себя» кажется интуитивно ясным, но внятной формулировки мне пока не попадалось.

Очевидно, что так говорящие попадают в ловушку антропоморфизма — приписывания ИИ свойств, типичных для человека.Такие наши черты, как стремление к власти (т. е., к лидерству в сообществе), к неоправданному накоплению ресурсов, к самосохранению и т. д. вовсе не являются очевидными и обязательными для любого интеллекта, естественного или искусственного. В случае Homo sapiens эти черты сложились в ходе естественного отбора — индивидуумы, не имевшие инстинкта самосохранения отсеивались, не имевшие стремления к доминированию в стае оставляли меньше потомства. Если мы будем создавать ИИ, моделируя дарвиновскую эволюцию, подобные свойства могут сформироваться и у него; также они могут быть преднамеренно заложены или возникнуть в результате ошибки при программировании или обучении ИИ, но не возникнуть самопроизвольно.

Тем не менее, использование ИИ, действительно, может нести реальную опасность. Вспомним, что любой ИИ это, всего лишь, программа или программно-аппаратный комплекс, который создаётся (и, возможно, обучается) людьми. А вот людям свойственно ошибаться.

Уже сегодня мы видим, что человеческая жизнь может быть доверена ИИ — примером может служить использование автономных транспортных средств. ИИ справляются с управлением автомобилем лучше водителя-человека, по крайней мере, среднего, процент ДТП у них заметно меньше. В будущем ИИ будет доверено управление морскими судами, самолётами, атомными электростанциями, распределением нагрузки в глобальных транспортных, энергетических и информационных сетях, принятие макроэкономических и политических решений. Ошибка при решении таких задач уже чревата катастрофическими последствиями.

Немного терминологии

• Универсальный искусственный интеллект, УИИ (англ. Artificial General Intelligence, AGI)— ИИ, способный решать все те задачи, что и человек (возможно, медленнее или хуже, чем средний человек).

• Искусственный суперинтеллект, ИСИ (англ. Artificial Super Intelligence, ASI) — УИИ, способный любую интеллектуальную задачу решить лучше и быстрее любого человека а также, возможно, и решать задачи, человеку вообще недоступные.

Любой программист подтвердит, что создать мало-мальски сложную программную систему без ошибок невозможно. В процессе отладки часть ошибок можно исправить, но чем реже какая-то ошибка «выскакивает», тем труднее её обнаружить. Это значит, что и при создании ИИ проявление ошибки — вопрос времени; рано или поздно, но ошибки будут происходить, в том числе, и при решении сверх­ответственных задач, вроде пере­численных выше. Ситуация обостря­ется тем, что в случае использования ИСИ человеку может оказаться вообще непонятным выбор решения задачи, а то и сама суть проблемы. Исправить ошибочные действия ИСИ в этом случае окажется невозможно.

Значит ли это, что особо ответственные задачи доверять ИИ будет никогда нельзя? Нет, конечно. Ведь альтернативой является доверить эти задачи человеку, а мы знаем, что это не менее опасно. Увы, но пилот-человек может сойти с ума и направить самолёт в океан или в гору. Авария на Чернобыльской АЭС подтверждает, что люди-операторы, даже работая в группе, способны загнать ядерный реактор в режим неконтролируемого разгона. Есть мрачная шутка: «Две вещи лучше не знать — из чего делается колбаса и как принимаются судьбоносные политические решения». Примерами таких решений, приведших к тяжелейшим последствиям могут служить вмешательство Российской Империи в конфликт между Австрией и Сербией в 1914 г., ввод советских войск в Афганистан в 1979 г. и войск США в Ирак в 2003 г. Собственно, вся история человечества до сих пор — это сплошноая череда экономических, политических и военных катастроф.

Да, ИИ может допустить ошибку, в том числе, ведущую к глобальной катастрофе. Но её может допустить и человек, а опыт самоуправляемых автомобилей показывает, что хорошо отлаженный ИИ может делать ошибок меньше, чем человек. Так, кому следует доверять больше?

Существует несколько подходов к тому, как сделать число ошибок ИИ минимальным. Часто в качестве решения проблемы предлагается использовать гибридные естественно-искусственные интеллектуальные системы — человеческий разум, на своём биологическом носителе или загруженный в компьютер*, усиленный компонентами ИСИ. Предполагается, что человеческий компонент будет в состоянии контролировать искусственные. Однако, это имеет смысл только в том случае, если человеческий компонент будет делать ошибки реже, что неочевидно. Вспомним, кроме того, что именно человек будет отягощён древними инстинктами вроде стремления к доминированию — а это, в комбинации с могуществом ИСИ просто опасно.

Есть, однако, и более перспективные подходы. Например, можно поручить принятие важных решений нескольким (или многим) ИИ, имеющими разные конструкции и/или истории обучения, которые будут оценивать решения друг друга и искать в них ошибки. Что-то подобное используем и мы при коллективном принятии решений, но у нас велико эволюционно заложенное стремление присоединиться к «лидеру стаи». Вероятность же того, что все ИИ сделают одну и ту же ошибку исчезающе мала.

Какова же будет роль человека в мире, управляемом ИИ? Она будет очень велика — мы будем создавать для ИИ цели и ценности. ИСИ не может сам решить, что хорошо, а что плохо — этому научить его должны будем мы. Систему ценностей надо будет закладывать в процессе создания и обучения ИИ, подтверждать и уточнять в ходе дальнейшего самообучения на модельных ситуациях и реальной работы. Это будет очень непростым делом — хотя бы потому, что мы и сами не в состоянии сформулировать полную и непротиворечивую систему ценностей. Но делать это кроме нас будет некому.

Полный список моих постов здесь: https://golos.io/@igor.artyuhov