Тем временем в народе уже появилась расшифровка ИИ - Искусственный Идиот.
Ваш гений — полный идиотПрактически все непрофессиональные дискуссии вокруг разумности ИИ сводятся к перечислению того, что ИИ может сделать, и сравнению результата и эффективности его достижения с человеком.
Это категорически неправильный подход.
Экскаватор может копать значительно лучше человека. Калькулятор намного лучше человека складывает числа. Компьютер, на котором я пишу этот текст, невероятно хорошо рисует на экране буковки — я бы так не смог никогда, по крайней мере, при разумном времени, отведённом на рисование одной буквы.
У меня нет никаких сомнений в том, что экскаватор, калькулятор и даже этот компьютер не обладают даже минимальными зачатками разума.
Правильный подход — смотреть на то, что ИИ сделать не может.

Одна из очень характерных черт современных ИИ — это галлюцинации (это официальный термин, он используется в научных работах). Выданный выше ответ не имеет практически никакого отношения к реальности, «Муму» — это, для начала, даже не роман, а рассказ, не говоря уж про сюжет (вообще, у ChatGPT с «Муму» очень сложные взаимоотношения, можно найти немало различных версий сюжета этого произведения).
При этом ChatGPT выдаёт ответ без каких-либо видимых колебаний. Он не сообщает, что у него нет информации о «Муму», что она может быть недостоверна, и прочая, и прочая. Он выдаёт вполне определённый ответ.
Но может быть, это артефакт плохого знания русского языка? В конце концов, основным в обучении GPT был корпус англоязычной литературы.

Почти правильный ответ о книгах об Аврааме Линкольне, 16-м президенте США — и одном из самых известных политических деятелей в истории Америки. Ну, кроме пункта 4 — The Emancipation Declaration всё же была документом, написанным самим Линкольном, а не книгой о нём.

Тот же вопрос — но про Уильяма Генри Гаррисона, 9-го президента США. Для нас с вами эта фигура малоизвестна, однако для американца не знать его — примерно то же самое, для нас не помнить кого-то из российских императоров XIX века (хоть и прославился Гаррисон в основном тем, что умер через месяц после принятия присяги). Невозможно предположить, что информации про него не было в базе обучения GPT-3.
Тем не менее, из 5 порекомендованных ChatGPT книг о Гаррисоне в реальности существуют... две. Первые три книги либо не существуют вообще, либо написаны иными авторами.
Повторюсь: в обучающей базе ChatGPT не могло не быть настоящей информации по этой теме. При этом он с абсолютной увереностью несёт почти абсолютную чушь — никаких признаков того, что предоставляемая информация недостоверна, в его ответе нет.
В случае с человеком, ведущим себя таким образом, мы бы сказали, что он психически нездоров. Возможно, шизофреник.
Потому что

психически здоровый человек отличается тем, что умеет отделять галлюцинации от реальности.
Вообще говоря, мы галлюцинируем постоянно. Есть версия, что сам феномен сознания — это контролируемая галлюцинация.
Когда мы представляем себе будущее — мы галлюцинируем. Когда мы вспоминаем прошлое — мы галлюцинируем, потому что у нас в голове нет детальной записи бывших событий, мы каждый раз восстанавливаем их. При этом мы всегда — хоть и не всегда точно — можем разделить, что мы знаем, что мы предполагаем, что мы воображаем. Мы можем оценить, как внешние стимулы влияют на наше внутреннее состояние, и нивелировать это влияние (и это другой заметный баг даже лучших из существующих LLM: небольшое изменении формулировки может привести к большому изменению ответа).
У ChatGPT на месте этих способностей — ноль. Пустыня. Ни малейших признаков осознанности. Ни под лупой, ни под микроскопом, никак.
ChatGPT не разумен. Он не демонстрирует даже минимальных признаков сильного интеллекта, даже намёков на него. Мы понятия не имеем, удастся ли нам создать сильный AI, и если да, то когда — но ChatGPT от него столь же далёк, сколь далеки калькулятор и экскаватор.
Он просто очень хорошо предсказывает, какое слово надо поставить следующим во фразе, чтобы человеку эта фраза казалась правильной.
P.S. Если вы думаете, что это лишь моё личное мнение — то, во-первых, да, а во-вторых, скажем, Дуглас Хофстадер, известный учёный-когнитивист, считает так же.