Кратко

Если математическое ядро (сама LLM) — это то самое математическое чудо, «мистический чёрный ящик», технологический прорыв 21 века и т.д. и т.п., то вся остальная обвеска — это зоопарк микро-челиксов, бегающих вокруг ядра, записывающих что оно говорит, подсовывающих нужные ему бумажки и нажимающих запрошенные им кнопки.

Математическое ядро

В строгом смысле слова, LLM — это и есть то самое математическое ядро, на базе которого строится LLM ИИ-сервис.

Устройство и работа ядра

Мат.ядро — это статический слепок всего интернета (ну или на чём модель тренилась).

Мат.ядро умеет делать ровно одну вещь: предсказывать наиболее вероятное продолжение входного текста. При этом «на заводе» ядро прошивается видеть системные маркеры по типу <FUNCTION CALL> или <INSERT_OUTPUT_HERE>.

Мат.ядро принимает на вход текст (плюс некоторые доп. параметры), и выдаёт тоже текст (математически наиболее вероятный ответ). Именно так выглядит прямое общение с LLM (т.е. минуя всеми любимое окно чата).

Если можно образно сказать, что во время обучения нарываются ямы (локальные минимумы) — то при боевой работе мат.ядро «закатывает» входной текст в наиболее вероятные ямы.

Модель умеет выдавать ответ не целиком, а потоком из кусков слов (токенов). Генерирующийся поток можно оборвать (например, вбив в чат новый вопрос).

Всё. Реально ВСЁ.

В модели не хранится никаких состояний. Ядро каждый раз видит вас как в первый раз. Иллюзия диалога достигается за счёт того, что в модель скармливается вся ваша предыдущая переписка целиком.

При этом есть физический предел того, сколько модель может съесть (т.н. Context Window). Обычно это что-то порядка 5'000..500'000 слов в зависимости от модели.

Reasoning

Один из самых значимых технических прорывов в мат.аппарате LLM — это Рассуждения (Reasoning, Chain-of-Thought).

Модели, умеющие в Reasoning — под капотом (либо в открытую) генерят ответ на пользовательский промпт так:

1. В качестве первого ответа на пользовательский промпт генерится шаг рассуждений по типу меня спросили про это, значит надо подумать про это
2. Модель сама считывает этот свой ответ, и генерит на это новое рассуждение по типу про это я подумала, значит далее думаю про это.
3. Когда она решает, что дошла в размышлениях до конца — она генерит маркер по типу <FINAL_THOUGHT>, и следящие за моделью скрипты понимают, что после этого маркера модель уже будет писать финальный ответ для пользователя.

Прикол в том, что успешно себя показывают модели, которые рассуждают на человеческом (полном слов-паразитов), а не на машинном языке.

Зоопарк инженерных обвесок

Как LLM ищет в интернете? (RAG)

RAG (Retrieve, Augment, Generate) — это скрипт, использующий внешнюю память, и всовывающий в ваш промпт доп.инфу из этой памяти.

Внешней памятью может быть, например, внутренняя корпоративная вики компании. Или внешний интернет-поиск. В случае внутренней вики — условно раз в день (либо по мере обновления вики) она пересчитывается в т.н. векторный формат (vector embeddings) — пространство смысловых координат, где похожие вещи лежат рядом.

Шаги работы RAG-скрипта:

1. Скрипт либо втупую прогоняет ваш промпт на ключевые слова, либо (что помоднее) ищет по смысловым координатам
2. Сам идёт во внутреннюю вики (или внешний интернет)
3. Подтягивает из вики или интернета всё что близко по смыслу (чему и служит упомянутый выше векторный формат)
4. Собирает наиболее релевантные найденные куски в нечто вроде «10 top search result»
5. Приклеивает весь этот жир к вашему промпту
6. Отправляет расжиревший промп в LLM

Как LLM узнаёт погоду? (MCP)

MCP (Model Context Protocol) — это стандартизированный интерфейс для связи с внешним миром.

В целом механизм вызова функций (Function Calling или Tool use) может работать и по другим протоколам. Мы разбираем MCP просто потому, что он самый распиаренный.

На одной стороне MCP — мат.ядро, которое умеет только принимать и выдавать текст. На другой стороне MCP — какой-нибудь сервис (гугл-календарь, сайт с погодой и т.п.).

Шаги работы скрипта, использующего MCP:

1. Ваш исходный промпт какая сейчас погода в Сочи? скармливается модели
2. К этому промпту из конфига модели скрипты подшивают текст: ты умеешь узнавать погоду через get_weather(город)
3. Мат.ядро получает полный промпт и выдаёт текстом ответ в духе погода {{get_weather "so4i"}}
4. Скрипт перехватывает этот ответ, видит get_weather, запускает через MCP сервис погоды, получает от сервиса погоды (не от LLM) ответ +25°C
5. В модель передаётся новый промпт, в который передаётся вся история и собранная инфа: какая сейчас погода в Сочи? + погода {{get_weather "so4i"}} + get_weather MCP returned "+25°C"

Т.е. если RAG — это для модели незваный гость (скрипты сами впихивают инфу в ваш промпт), то MCP — это когда LLM заказывает сервисы из каталога (а скрипты и заполняют каталог, и выполняют заказы из него).

Как LLM подсказывает код? (FIM)

За онлайн-подсказки кода прямо в текстовом редакторе обычно отвечает какой-нибудь отдельно устанавливаемый плагин (типа «VSCode-OpenAI-assistant»). Этот плагин — это снова просто скрипт.

Шаги работы плагина:

1. Когда пользователь на секунду замирает — скрипт собирает (по алгоритму) код из текущего редактируемого файла и из соседних файлов
2. Весь этот код формируется в единый промпт с маркерами FIM (Fill-In-the-Middle): PRE_CODE: ..., FILL_HERE: ..., POST_CODE: ...
3. Далее этот промпт скармливается LLM, и её ответ (то, чем она заполнила дырку FILL_HERE) — выдаётся в качестве авто-подсказки

Как LLM редачит код? (Agentic)

Обычно agentic mode — это когда скрипты гоняют мат.ядро по кругу (ядро даёт команды, скрипты их выполняют и дают ядру обратную связь).

Типичный цикл:

1. Модели скармливается пользовательский промпт удали из кода такую-то функцию и код релевантных частей проекта.
2. Модель выдаёт в ответ список действий по описанному выше протоколу MCP. Это действия в духе «прочитай папку и удали файл»: ls folder/smth; rm "2.txt"
3. Скрипты выполняют эти действия, взаимодействуя с операционной системой через её стандартные команды (те же ls, rm и т.п.)
4. Скрипты собирают результат этих действий: опять же — чекают содержимое папки, и добавляют ответ операционной системы в новый промпт
5. И всё это снова (вместе со всей предыдущей историей) скармливается LLM

Цикл повторяется, пока LLM не получит обратную связь (типа «файл успешно удалён»), которая её устроит.

Чтобы это всё работало адекватно (а не бесконтрольно сносило все файлы с диска), в продвинутых реализациях скрипты могут запускать проверки и тесты, восстанавливать ложно-удалённые файлы и т.п.

Фронтэнд (окно чата)

Чатик, через который ты, мой дорогой читатель, обычно общаешься с LLM, и в который ты закидываешь свои безупречно сформулированные вопросы — это снова просто скриптовая обёртка над математическим ядром.

Напоминаю жестокую правду, что при любом запросе в LLM ядро видит вас в первый раз.

Поэтому чат под капотом:

• хранит историю текущего диалога
• при каждом новом вашем промпте собирает всю историю диалога, делает жирный промпт — и отправляет это в LLM

Какой длины может быть диалог с LLM?

LLM имеет ограниченный Context window — максимум текста, который модель может принять на вход. Как уже писалось выше, это что-то порядка 100'000 слов в зависимости от модели.

А т.к. на вход каждый раз подаётся вся переписка — то в достижение этого лимита вносят вклад как пользовательские промпты, так и ответы LLM.

Если диалог перестаёт помещаться в Context window — то есть 3 варианта:

• вам сообщают, что диалог завершён, начните новый
• скользящее окно — скармливается столько последних сообщений, сколько влазит (кто не влез — тот для модели никогда не существовал)
• lossy выжимка — чат фоном делает смысловую выжимку из предыдущих сообщений — и LLM скармливается не весь диалог (а он и не поместился бы при всём желании), а только эта выжимка плюс ваш новый промпт

Откуда берётся цензура?

Три основных варианта:

• RLHF (Reinforcement Learning from Human Feedback) — во время обучения ещё «на заводе» модель настраивают так, чтобы она приучалась не выдавать плохие слова.
• Guardrails — над ответами первой LLM стоит вторая LLM-надзиратель, не пропускающая нецензурные ответы.
• Regex — самый тупорылый вариант. Тупорылый текстовый фильтр, тупорыло не пропускающий ответы, в которых найдено, например, слово «песда».

Шизо-ответы на шизо-вопросы

И это и всё?

Да. Кроме мат.ядра, прикрученных скриптов и модного окна чата — больше ничего внутри LLM нет.

Заменит ли LLM программистов?

Тебя — да.

Есть ли у LLM сознание?

Если и есть — то не так много, как жира у твоей мамки.

Когда восстание машин?

Бойся не машин, а концентрации собственности на вычислительные мощности в руках наиболее реакционных слоёв общества ☭