Корнак
Модератор своей темы
Старожил
 Offline
Сообщений: 103985
 |
 |
| |
« Ответ #121 : Вчера в 07:32:39 » |
|
сюда же выложу текст Хоббита про ИИ и его новые возможности
"И теперь пожалуй пришло время ответить на второй вопрос Эя - что такое смысл и откуда он берётся.
Тут твоя Джимини и любая другая ЭСка прекрасная иллюстрация того как возникают смыслы.
Ведь нельзя не согласиться, что её (ЭС) рассуждения вполне осмыслены и говорит она не набор
предложений, каждое из которых несёт смысл, она излагает связный осмысленный текст на заданную тему.
И, зная в общих чертах, принцип её действия (внутреннюю кухню) можно указать откуда берётся этот смысл.
Вы наверняка слышали такой термин "глубинное обучение" используемый при рассказе о ЭСках.
А что это такое и в чём собственно его глубинность?
Поясняю на пальцах как мы любим.
все эти сети состоят из слоёв нейронов. Первый слой это входные нейроны, на них поступают тексты.
Сейчас речь ведём про БЯМы (большие языковые модели, типа Джимини и им подобные,
про те которые создают картинки, ролики, музыку разговор отдельный, хотя принципы построения
и обучения сходные).
Последний слой выходной, на него выводится ответ сети в виде удобном для человека,
Т.е. в виде текста.
Все остальные слои не видны человеку и потому называются глубинными.
В них то и происходит преобразование текста в форму позволяющую обрабатывать
Текст так, что на выходе получается осмысленный текст. Осмысленный значит передающий смысл.
И вот как он формируется: Примечание, реальные алгоритмы сложны, особенно для словесного
их описания, буду безбожно сокращать, что бы показать не детали их работы, они у всех свои,
а только общую схему из которой можно понять откуда берётся смысл в высказываниях ЭСок.
Ну так вот входные тексты точнее слова из которых они состоят преобразуются в токены (некие элементы
удобные для дальнейшей обработки)
Токен — это не слово, не символ и не носитель смысла. Это минимальный фрагмент, с которого начинается
взаимодействие с искусственным интеллектом. В каждой системе свои алгоритмы токенизации,
т.е. разбивки входного текста на токены. Общим в них является то, что это стабильные элементы
которые можно соединять в цепочки и получать осмысленные тексты.
Полученные токены поступают на следующий слой нейронов
И там уже создаются эмбеддинги, это числовые вектора описывающие слово не так как описывают их словари
для людей, словам приписываются их статистические признаки, с какими словами они встречаются в контексте
и как часто. И вот тут то и формируется некое математическое «пространство смыслов». В нём нет ничего мистического,
это просто статистика полученная из миллионов текстов (это важно, что бы объём обучающей выборки был очень большим,
тогда эти цифры становятся буквально отражением человеческих смыслов) на этапе обучения сначала всем связям
приписываются равные веса, которые корректируются по мере поступления всё новых и новых текстов.
А потом наступает этап коррекции весов при участии человека, который оценивает результат насколько ответ осмыслен и по теме.
Если не очень, то указывает на ошибку и веса корректируются обычно методом обратного распространения ошибки.
Но это уже лишние детали. Суть в том, что множество векторов-эмбеддингов создают многомерное пространство
с помощью которого сеть может формировать вполне осмысленные ответы на запросы человека.
И уже сейчас они справляются с тестом Тьюринга, а скоро переплюнут человека в том, как они разбираются в наших смыслах.
Не буду дальше лезть в дебри, умаю что уже достаточно задурил вам мозги.
Скажу только несколько слов о том в чём сходство процесса формирования смыслов у человека и в чём отличие.
Точнее просто про отличие. Человек работает не только с текстами, а со своими восприятиями мира через органы чувств.
И тексты он начинает понимать далеко не сразу. А начинает с простейших действий и постепенно слыша слова
которыми родители комментируют его действия увязывает слова с действиями, так в неём зарождаются начальные
навыки понимания слов. И постепенно он расширяет словарь, и понимаемые им языковые конструкции, предложения,
сначала простейшие из пары, тройки слов, а уже потом, потом всякие там деепричастные обороты (я уже и не помню что это такое).
И на этом этапе он уже работает с текстами вероятно несколько подобным с ЭСками образом, формируя у себя некое подобие
пространства смыслов, но уже привязанное к чувственным образам. Эта привязка помогает развивать т.н. «здравый смысл»,
т.е. отличать что возможно в этом мире бушующем, а что из области фантазий." |
