Не понимаю, в чём проблема. Чем сложнее система - тем выше уровень рефлексии, в которую включается представление и о себе, т.е. выше уровень самосознания. Современные модели ИИ уже включают самих себя в свою картину мира, с помощью которой решают задачи, и меняют поведение в соответствии с этим (например знаю что за ними следят, лгут оператору, пытаются спасти себя и т.п.). Вполне разумное поведение которое мы ассоциируем с сознательным поведением учитывающим последствия для себя. ЕИ чем хуже то.
Не ну дурак дураком. Ему про квалиа, а он про сложность системы.