Блеск и нищета Искусственного Интеллекта

[джелави]

с большинством справляются и мощные классические компьютеры, хотя и потребляют мега- и гигаватты.

какие конкретно им ставились задачи, для которых бы требовались гигаватты? Перечисли несколько

[QY]

Гигаватты на задачу обучение, мегаватты на каждое дообучение, от десятка киловатт до сотен (DeepSeek R1)  при ответах в режиме "глубокого мышления". Цифры можете спросить у ИИ, я их видел, конкретные. Мозг человека всё время дообучается в самых разных аспектах и модальностях (включая тактильные), и потребляет 20-25 ватт.

[джелави]

Цифры можете спросить у ИИ, я их видел, конкретные.

уже спрашивал. ГПТ пару лет назад сказал как то, что на запрос уходит в среднем киловатт. Гемини сейчас выдаёт другие данные типа 0,0003 кВт·ч электроэнергии.

от десятка киловатт до сотен (DeepSeek R1)  при ответах в режиме "глубокого мышления".

это вообще бредятина

[QY]

это вообще бредятина

Таковы независимые от производителей исследования.

A version of DeepSeek’s R1 model required 308,186 watt hours to complete a task with reasoning turned on, and only 50 watt hours when the feature was turned off.

One of Microsoft’s Phi 4 reasoning models used 9,462 watt hours to complete tasks with reasoning turned on, and 18 watt hours with reasoning turned off.

OpenAI’s GPT-OSS model showed a reduced disparity, consuming 8,504 watt hours to complete tasks with reasoning set to “high” and 5,313 watt hours with reasoning set to “low”.

Complex tasks
The researchers ran all the models on the same hardware, with the same prompts ranging from relatively simple queries to complex math problems.

[джелави]

Таковы независимые от производителей исследования.

это было давно и неправда. Всё поменялось https://chat.deepseek.com/share/dhfwex3yori90tdmip

[QY]

это было давно и неправда. Всё поменялось https://chat.deepseek.com/share/dhfwex3yori90tdmip

Как не оптимизируй, а одна карта NVIDIA H100 только в режиме покоя потребляет 50-70 ватт, и до 700 ватт на пике работы (в отличие от 20-25 ваттного мозга), а сколько их использовалось при обучении (>2000)? Сколько нужно чтобы ответить хотя бы на 1 запрос? Сколько используется в датацентрах с системой охлаждения, чтобы обеспечить красивый показатель "ватт на 1 запрос"?

В любом случае энергоэффективность мозга (не говоря уж о размерах), например профессора, до которого пока не дотягивают ИИ (не на все вопросы соотв. экзаменов могут ответить), и который постоянно в режиме обучения -  гораздо выше ИИ на известных технологиях. А значит, мозг использует совсем другую технологию, и данные квантовой биологии подсказывают, что скорее всего - квантовую.

[джелави]

Сколько нужно чтобы ответить хотя бы на 1 запрос?

можешь проверить. Установи себе на комп локальную версию ИИ. У меня так 10 минут думал, на полной загрузке процессора. Видюха участие не принимала, слишком стара. Память DDR3, не разогнанная, частота по умолчанию 1300. Проц антикварный Атлон, 3.6 - 4.2 Ггц.

[QY]

можешь проверить. Установи себе на комп локальную версию ИИ. У меня так 10 минут думал, на полной загрузке процессора.

Какую версию? Сколько миллиардов параметров? 10 минут думал над вопросом какой сложности? И потреблял наверное не менее 150-200 ватт? Мы ведь говорим только об интеллектуальных способностях определённого класса, связанных с символами и языком. А человеческий мозг, кроме сознательно рефлексируемой задачи типа "глубокого размышления", решает огромное множество прочих задач - контроль и реакция на внешнюю среду, внутреннее состояние тела, различные подсознательные задачи. По исследованиям решение задач в режиме "глубокого мышления" увеличивает потребление энергии на 5-20%, т.е. на 1-5 ватт от 20.

[джелави]

Какую версию? 10 минут думал над вопросом какой сложности?

Deep Seek 3.7R Загрузил для локального использования через Ollama. Железо старое, не тянет. А так хорошая штука. Удивил малый объём БД, всего жалких 5 гигабайт. Задачу ставил средней паршивости. Постановка медицинского диагноза по симптомам.
Всё было точно. Уже начал загонятся и подозревать что мой комп получил доступ к ноосфере без интернета

[QY]

Deep Seek 3.7R Загрузил для локального использования через Ollama. Железо старое, не тянет. А так хорошая штука. Удивил малый объём БД, всего жалких 5 гигабайт.

Вообще не то. 5 гигов - это сжатая дистиллированная модель на 7 млрд. параметров. Просто справочник по решению стандартных сложных задач. Так что для сравнения не годится

Спросил у ИИ об отличиях  нормальной модели на  671 млрд (>10 ТБ) от вот этого псевдо ИИ

Вот 4 главные причины, почему оригинальная модель (671B) незаменима:

1. Это «учитель» без которого не было бы «ученика» (Курица и яйцо)

Дистиллированная модель не появляется сама по себе. Её нельзя просто «взять и уменьшить» программно.
Чтобы сделать дистиллированную версию (например, на 7B параметров), разработчики берут огромный массив данных, созданный исключительно оригинальной моделью (её рассуждения, логические цепочки и ответы на миллионы задач).
Если бы не было оригинала, некому было бы обучать «ученика». Дистиллированные модели — это производные; без оригинала они бы просто не существовали.

2. Качество на «пограничных» задачах (Глубина мышления)

Дистиллированная модель хорошо решает стандартные сложные задачи. Но как только задача становится нетривиальной, многоступенчатой или требует креативного озарения:

    Оригинал (671B): Способен строить длинные внутренние цепочки рассуждений из сотен шагов, перебирать десятки гипотез и находить единственно верное решение там, где данные противоречивы.

    Дистиллированная (7B-14B): Упирается в «потолок» своего маленького мозга. Она может красиво рассуждать, но на 5-м шаге логики ошибка накапливается, и она приходит к неверному выводу. Для сложнейших олимпиадных задач по математике или редких сценариев кодинга оригинал всегда сильнее.

3. «Знание» против «Стиля» (Галлюцинации)

Дистиллированная модель чаще всего перенимает стиль рассуждения (как говорить) и популярные факты.
Оригинальная модель содержит в разы больше фактической информации в своих весах. Если спросить о редком историческом событии или узкоспециализированном научном термине:

    Оригинал вспомнит детали.

    Дистиллированная может красиво и уверенно придумать (сгенерировать галлюцинацию) несуществующие факты, потому что ей просто не хватило «места» в памяти для хранения этой редкости.

4. Прорывные исследования

Оригинальные модели (вроде DeepSeek-R1) создаются не только для пользователей. Это научный продукт. С помощью оригинала ученые изучают, как именно возникает искусственный интеллект, как работает обучение с подкреплением и как масштабируются способности. Уменьшенные версии не дают такой научной ценности для изучения природы интеллекта.

[джелави]

Спросил у ИИ об отличиях  нормальной модели на  671 млрд (>10 ТБ) от вот этого псевдо ИИ

у кого бабки есть на хорошее железо(ддр5, райзн9) то найдётся и на хард в 10 террабайт. Не такая уж и проблема. Но только какой в этом смысл, если можно через интернет получить доступ к мощностям современных датацентров? разве только чтобы проверить сколько энергии сожрёт какой нибудь кучерявый вопрос?

[QY]

у кого бабки есть на хорошее железо(ддр5, райзн9) то найдётся и на хард в 10 террабайт. Не такая уж и проблема.

Обученную модель на 671 млрд. параметров можно запустить на 10 NVIDIA H100 (каждая в простое ~60 вт, в спец. режиме ожидания (готовности быстро выдать ответ) ~150 вт,  макс 700 вт). Т.е. на генерацию ответа уйдёт 5 квт.
Но основная проблема в том, что человеческий мозг постоянно находится в режиме дообучения. А это требует на порядки больше ресурсов, чем создание отображений обученной базы.

Но на то, что мозг использует иной способ обработки информации, указывает не только очень высокая энергоэффективность, но и определённый тип задач, который я связываю с квантовой природой сознания и с квантовым  превосходством. Как уже отмечал, с т.з. фундаментальных отличий квантового и классического компьютера, превосходство квантового начинает проявляться при решении задач лишь определённого уровня сложности.

В принципе, уже вырисовывается вектор или вершина горы, куда человек может взойти, а ИИ возможно никогда не сможет (по фундаментальным причинам, не зависящим от того сколько ресурсов на это бросят). Это - решение принципиально новых задач (ИИ обучается на известных), или задач требующих творческого подхода в условиях неопределённости.

Запросил у ИИ последние исследования на эту тему.

ИИ блестяще справляется с задачами, похожими на те, на которых он обучался. Но он испытывает серьезные трудности с "творческим скачком" и решением проблем, которые выходят за рамки известных шаблонов. В недавнем испытании "First Proof", где ИИ предложили решить 10 совершенно новых исследовательских математических задач, ни одна модель не смогла сравниться с ведущими математиками
...
Хотя ИИ обошел среднего человека, лучшие 10% творческих людей стабильно превосходят все современные ИИ-модели (включая GPT-4, Claude и Gemini) в творческих заданиях, таких как написание рассказов, хайку или создание глубоких метафор

Другое дело, что неспособность решать высокие творческие задачи, не помешает ИИ захватить цивилизацию, поскольку она довольно шаблонна.

[джелави]

Другое дело, что неспособность решать высокие творческие задачи, не помешает ИИ захватить цивилизацию

заменят им вороватых госслужащих, всего делов. Само собой потом организуют какую нибудь финансовую падлянку, а ИИ сделают козлом отпущения. Все их ходы предсказуемы.