Об идее свержения или порабощения человечества искусственным интеллектом говорят уже много десятилетий, и в январе 2021 года ученые вынесли свой вердикт о том, сможем ли мы управлять компьютерным сверхинтеллектом высокого уровня. Ответ: почти наверняка нет.
Загвоздка в том, что для управления сверхинтеллектом, находящимся далеко за пределами человеческого понимания, потребуется симуляция этого сверхинтеллекта, которую мы сможем проанализировать. Но если мы не в состоянии его постичь, то создать такую симуляцию невозможно.
Такие правила, как «не причинять вреда людям», не могут быть установлены, если мы не понимаем, какие сценарии может придумать ИИ, считают авторы статьи 2021 года. Когда компьютерная система работает на уровне, превышающем возможности наших программистов, мы больше не можем устанавливать ограничения.
«Сверхинтеллект представляет собой принципиально иную проблему, чем те, которые обычно изучаются под знаменем «этики роботов», — пишут исследователи. «Это связано с тем, что сверхинтеллект многогранен и, следовательно, потенциально способен мобилизовать разнообразные ресурсы для достижения целей, которые потенциально непостижимы для человека, не говоря уже о том, чтобы их можно было контролировать».
Если мы собираемся продвигать искусственный интеллект, мы можем даже не узнать, когда появится сверхинтеллект, неподвластный нашему контролю, настолько он непостижим. Это означает, что нам нужно начать задавать серьезные вопросы о том, в каком направлении мы движемся.
