Смогут ли одни инструменты искусственного интеллекта обнаруживать и эффективно реагировать на атаки других ИИ?
Известный технолог и исследователь Брюс Шнайер (Bruce Schneier) считает, что в скором времени искусственный интеллект может взломать социальные системы, в частности правила финансовых рынков, своды законов и налоговый кодекс США. Он изучает потенциальные непредвиденные последствия искусственного интеллекта для людей. По его мнению сам искусственный интеллект уже действует как хакер.
Тема ИИ основана на недавнем эссе, которое он написал для Cyber Project и Совета по ответственному использованию ИИ в Белферском центре науки и международных отношений Гарвардской школы Кеннеди.
Главный вопрос, который задает Шнайер, заключается в следующем: что будет если системы искусственного интеллекта смогут взламывать социальные, экономические и политические системы в таких масштабах и с такой скоростью, а люди не обнаружат это вовремя и понесут потери?
Исследователь считает, что ИИ уже решает эти задачи в программном обеспечении, находя уязвимости в компьютерном коде. Пока это не очень хорошо получается, но в итоге он сможет достичь большего, а люди «останутся прежними» в своих способностях обнаружения уязвимостей.
Менее чем через десять лет, по прогнозам Шнайера, ИИ сможет «побеждать» людей в соревнованиях по взлому.
Хакерская игра CTF — это, по сути, игра в компьютерных сетях. Команды хакеров защищают свои компьютеры, нападая на другие команды. Это контролируемая настройка того, что компьютерные хакеры делают в реальной жизни: находят и исправляют уязвимости в своих собственных системах и используют их в других. Автор вспоминает, что на соревновании DEFCON в 2016 году команда искусственного интеллекта под названием Mayhem заняла последнее место . Победили люди. Но технологии ИИ будут развиваться и превзойдут человеческие возможности.
Шнайер говорит, что не столько ИИ «взламывают» системы, сколько они создают свои собственные решения.
ИИ начинается с человеческого программирования. Если отвлечься от аналогий с Франкенштейном, основная проблема заключается в том, что искусственный интеллект не обладает такими когнитивными функциями человека, как сочувствие или интуиция, чтобы знать, где провести черту. Шнайер отмечает, что, хотя существует множество исследований по включению контекста, этики и ценностей в программы ИИ, это не является сегодня его встроенной функцией. По его мнению, люди будут использовать ИИ для поиска лазеек в налоговых кодексах, например, крупная бухгалтерская фирма будет пытаться найти новую «налоговую уловку для своих клиентов». Поэтому, финансовые компании вряд ли будут «программировать» правила, мешающие им монетизировать ИИ.
«Самый большой риск состоит в том, что ИИ найдет способ обойти правило без ведома людей, а мы этого не поймем», — говорит Шнайер.
Он указывает на скандал с Volkswagen в 2015 году, когда автопроизводитель был пойман на мошенничестве с тестами уровня выбросов для своих моделей автомобилей. Инженеры запрограммировали компьютерные системы машин на активацию ограничения выбросов только во время испытаний, а не при их нормальной работе. В своем эссе «Грядущие хакеры ИИ» Шнайер описывает это следующим образом: «Если бы я попросил вас разработать программное обеспечение для управления двигателем автомобиля, чтобы максимизировать производительность, при этом проходя тесты на выбросы, вы бы не смогли сделать такое ПО, не понимая что вы сжульничали. Но это невозможно для ИИ, он не понимает абстрактной концепции жульничества. Он будет думать нестандартно просто потому, что у него не будет моральных или других ограничений. И не поймет, что решение Volkswagen вредит другим, что оно подрывает цель испытаний по контролю за выбросами или, что оно нарушает закон».
Шнайер признает, что концепция «искусственного интеллекта как хакера» на данный момент является супер спекулятивной, но это проблема, которую необходимо решить. Нужно думать том, как мы можем кодифицировать правила системы.Ключевым моментом является использование ИИ для защиты, например, для поиска и устранения всех уязвимостей в новом программном обеспечении до того, как оно будет выпущено.
По словам исследователя, все компьютерное программное обеспечение содержит дефекты, обычно называемые ошибками. Это ошибки в спецификации, ошибки в программировании, ошибки, которые происходят где-то в процессе создания ПО. Современные программные приложения обычно содержат сотни, если не тысячи ошибок. «Эти ошибки присутствуют во всем программном обеспечении, которое вы в настоящее время используете: на вашем компьютере, на вашем телефоне, в любых устройствах «Интернета вещей», которые у вас есть. То, что все это программное обеспечение работает отлично в большинстве случаев, говорит о том, насколько неясными и несущественными могут быть эти ошибки. Вы вряд ли столкнетесь с ними при нормальной работе, но они есть», — говорит Шнайер.
Некоторые из этих ошибок создают дыры в безопасности – уязвимости. Эксплуатация уязвимости — это то, как китайские военные взломали Equifax в марте 2017 года. Microsoft Windows 10, последняя версия этой операционной системы, содержит около 50 миллионов строк кода. Большая сложность означает больше ошибок, а значит, больше уязвимостей.
Поэтому переходный период будет уязвимым: устаревший или уже выпущенный код может подвергнуться риску атаки со стороны злоумышленников, использующих инструменты искусственного интеллекта. По словам исследователя, существует риск того, что одни системы ИИ взломают другие системы ИИ в будущем, а люди испытают на себе последствия. Но в долгосрочной перспективе технология искусственного интеллекта, обнаруживающая уязвимости программного обеспечения, будет способствовать его защите.
Последнее исследование Шнайера в области искусственного интеллекта посвященное тому, как можно применить образ мышления и навыки хакера для защиты социальных систем, он впервые представил на конференции RSA 2020 года в Сан-Франциско. Эта концепция поможет исправить налоговый кодекс и законодательство США, например, чтобы избежать непреднамеренных или преднамеренных лазеек.
Идея Шнайера сводится к следующему: «Можем ли мы взломать общество и помочь обезопасить системы, из которых состоит это общество?»
«Когнитивный взлом — это мощное средство. Многие из устойчивых социальных систем, на которые опирается наше общество: демократия, рыночная экономика и т. д., зависят от людей, принимающих соответствующие решения. Этот процесс можно взломать разными способами. Социальные сети отвлекают наше внимание. Современная реклама, адаптированная к нашему отношению и поведению, представляет собой взлом наших систем убеждения. Дезинформация подрывает наше общее понимание реальности. Терроризм взламывает наши когнитивные системы оценки страха и риска, убеждая людей, что он представляет собой большую угрозу, чем есть на самом деле», — считает исследователь.
По его словам, на сегодняшний день взломом занимается исключительно человек. Поиск новых хаков требует опыта, времени, творчества и удачи. Когда ИИ начнут взламывать, это изменится. ИИ не будут ограничены теми же способами или иметь те же ограничения, что и люди. Они будут взламывать системы способами, о которых мы даже не догадываемся.
«Компьютеры намного быстрее, чем люди. Человеческий процесс, занимающий месяцы или годы, может быть сжат до дней, часов или даже секунд. Что может случиться, если вы скармливаете ИИ весь налоговый кодекс США и приказываете ему вычислить, как можно минимизировать сумму причитающегося налога? – спрашивает Шнайер.
Современные ИИ развиваются и совершенствуются на основе приема новых данных, и соответствующей корректировки собственной внутренней работы. Все эти данные постоянно тренируют ИИ и расширяют его возможности.
