Блог

LLM: что это такое, как работает и чем занят LLM-инженер

Богдан Камаев, ментор · 8 ноября 2026

LLM (Large Language Model, большая языковая модель) это нейросеть, обученная продолжать текст: по началу фразы она угадывает следующий кусочек, потом ещё один, и так собирает ответ. На таких моделях работают ChatGPT, GigaChat, YandexGPT и Claude. LLM-инженер почти никогда не обучает модель с нуля: он берёт готовую и строит вокруг неё продукт, который надёжно работает.

Ниже разберём токены, контекст, обучение и дообучение, RAG и саму профессию. В конце цифры по вакансиям и вопросы с собесов.

Как работает LLM

Внутри модель делает одну вещь: считает, что вероятнее всего идёт дальше. Пишешь «Столица Франции», и модель оценивает варианты продолжения. Условно это выглядит так (числа для наглядности):

Продолжение Вероятность
это 0,55
Париж 0,30
находится 0,10
всё остальное 0,05

Модель выбирает вариант, дописывает его к тексту и повторяет всё заново. Ответ собирается по одному кусочку. Настройка temperature влияет на выбор: при низкой модель чаще берёт самый вероятный вариант, при высокой пробует менее вероятные и пишет разнообразнее.

Удивительная часть в том, что больше ничего и не требуется. Если угадывать продолжение на огромном объёме текстов, модель попутно учится переводить, писать код и рассуждать. Всё это нужно, чтобы угадывать хорошо. По архитектуре LLM это трансформер, о котором подробнее в статье про NLP.

Отсюда же главная слабость. Модель выдаёт правдоподобное продолжение, и оно не обязано быть правдой. Уверенно выдуманный факт называют галлюцинацией.

Что такое токенизация в контексте работы LLM

Модель работает с токенами, и у неё нет понятия «слово». Токен это кусочек текста: целое слово, часть слова или знак препинания. Токенизация это разбиение текста на такие кусочки, каждому из которых соответствует номер. Эти номера и поступают в нейросеть.

Вот что получается в токенизаторе o200k_base, его использует OpenAI, а библиотека tiktoken открыта:

Текст Токенов Как разбилось
Столица Франции 5 Ст / оли / ца / Фран / ции
машинное обучение 4 маш / ин / ное / обучение
Кроссовки 4 К / рос / сов / ки
tokenization 2 token / ization
ключ API 2 ключ / API

Проверить можно самому:

import tiktoken

enc = tiktoken.get_encoding("o200k_base")
ids = enc.encode("Столица Франции")

print(len(ids))  # 5
print([enc.decode([i]) for i in ids])  # ['Ст', 'оли', 'ца', ' Фран', 'ции']

У каждой модели свой токенизатор, поэтому числа будут отличаться. Мы прогнали один и тот же абзац на русском и английском через два токенизатора OpenAI:

Текст Знаков o200k_base cl100k_base
Абзац на русском 289 77 токенов 127 токенов
Тот же абзац на английском 319 69 токенов 70 токенов

Зачем это знать на практике:

Что такое контекст

Контекст, или контекстное окно, это предел токенов, которые модель видит за один запрос. В него входит всё: системная инструкция, история диалога, найденные документы и сам ответ.

Важная вещь: модель ничего не помнит между запросами. «Память» в чат-боте устроена так, что приложение каждый раз заново отправляет всю историю. Чем длиннее диалог, тем дороже каждый следующий ответ.

Посчитаем. На русском абзаце выше вышло 3,75 знака на токен. Окно в 100 000 токенов вмещает примерно 375 000 знаков, это около 208 страниц по 1800 знаков. У каждой модели размер окна свой, его смотрят в документации.

Теперь про деньги. Допустим, бот на один запрос тратит 1500 токенов на входе и 300 на выходе. При миллионе запросов в день это 1,8 млрд токенов в сутки. Поэтому в работе контекст берегут: старую историю сокращают, а документы подгружают только нужные.

Обучение LLM: основные этапы

Когда ищут «обучение LLM», имеют в виду разные вещи. Обычно это три разных шага.

Этап Что происходит На чём учат Кто этим занят
Предобучение Модель учится продолжать текст Огромный массив текстов из интернета, книги, код Несколько крупных команд
Доучивание на диалогах Модель учится вести себя как помощник Примеры диалогов, оценки ответов от людей Те же команды
Дообучение под задачу Модель подстраивается под стиль или формат Сотни и тысячи своих примеров Обычные команды, если это нужно

Без второго этапа модель на вопрос «Как испечь торт?» могла бы дописать ещё три похожих вопроса, потому что такое часто встречается в текстах.

Обучить большую модель с нуля стоит как построить небольшой завод, поэтому в России этим заняты всего несколько команд. Остальные берут готовую.

Дообучение LLM

Дообучение (fine-tuning) нужно редко. Обычно начинают с более простых вариантов:

Проблема Что пробовать Сложность
Модель отвечает не в том формате Изменить промпт, задать схему ответа Низкая
Модель не знает ваших данных RAG Средняя
Нужен особый стиль или узкий формат, промпт не справляется Дообучение Высокая

Целиком большую модель почти не дообучают, это дорого. Чаще используют LoRA (Low-Rank Adaptation): веса основной модели замораживают и обучают маленькую добавку к ним. Получается в разы дешевле, и добавка занимает мало места.

Дообучение также не добавляет свежих знаний надёжным способом. Если нужны актуальные факты из документов, это задача для RAG.

RAG коротко

RAG (Retrieval-Augmented Generation) это способ заставить модель отвечать по твоим документам. LLM не знает внутренних регламентов банка, поэтому сначала поиск находит нужные куски, и модель отвечает уже по ним.

  1. Документы режут на куски.
  2. Каждый кусок превращают в эмбеддинг, то есть вектор чисел, и кладут в векторную базу.
  3. Вопрос пользователя тоже превращают в вектор и находят ближайшие куски.
  4. Реранкер (необязательная вторая модель) точнее отбирает лучшие из найденных.
  5. Куски и вопрос отправляют в LLM с инструкцией отвечать только по ним.

Рабочий код такой схемы есть в статье про LangChain. Качество меряют цифрами: собирают набор вопросов с правильными ответами и прогоняют каждую версию. Часто ответы проверяет другая LLM, это называется LLM-as-a-judge.

Что ещё строят поверх LLM

Агенты. LLM, которая не только отвечает, но и действует: обращается к API, смотрит базу, заводит заявку. Пишешь «перенеси встречу на пятницу», агент сам смотрит календарь и переносит. Действия описываются как инструменты (tools): название, описание и параметры.

Инференс. Инференс это запуск готовой модели. Её надо где-то поднять, чтобы отвечала быстро и не съедала бюджет. Для этого есть vLLM, квантизация (сжатие весов) и свои GPU.

У всего этого общие проблемы:

Чем занят LLM-инженер

Работа LLM-инженера это инженерия вокруг ненадёжной модели. Придумать удачный промпт тут самая маленькая часть. Наши данные показывают, что именно ищут работодатели: мы разобрали открытые вакансии hh.ru с 25 сентября по 25 октября 2026. NLP и LLM это 391 вакансия из 751, то есть каждая вторая ML-вакансия.

Навык Доля вакансий NLP/LLM
LLM 89%
AI-агенты 76%
RAG 59%
Промпт-инжиниринг 36%
LangChain 28%
LangGraph 26%

Агентов требуют в 76% вакансий, дообучение только в 18%, ещё в 11% оно идёт плюсом. Рынок строит продукты поверх готовых моделей.

Мы также сравнили требования с резюме 625 ML-кандидатов, откликнувшихся на наши тестовые вакансии. Базу вроде LLM, RAG и Docker указывают больше 90% из них, поэтому такие слова в резюме уже никого не выделяют. Вот навыки, которые встречаются реже всего:

Навык Требуют вакансии Указывают кандидаты
MCP 18% 34%
Оценка качества LLM 19% 37%
Function/tool calling 23% 41%
vLLM, инференс 16% 45%
Дообучение, LoRA 18% 48%

Упоминание в резюме ещё не значит владение, на собесе это быстро проверят. Но именно здесь проще всего отличаться: каждый из этих навыков указывает меньше половины кандидатов.

LLM-инженер: с чего начать

  1. Сначала база ML и устройство трансформера. Начни со статьи что такое машинное обучение. Иначе на собесе поплывёшь на первом «а почему».
  2. Если хочешь понять устройство руками, возьми книгу Себастьяна Рашки «Строим LLM с нуля»: там маленькую модель собирают на PyTorch.
  3. Собери RAG на своих документах и измерь качество цифрами. «Вроде отвечает» не считается.
  4. Потом сделай агента с инструментами, это то, что сейчас просят чаще всего.
  5. Выбери что-то из продовых навыков: оценка качества, инференс или tool calling. Это сильнее всего выделяет.

Отдельно про вход без опыта. За месяц на hh мы насчитали 14 junior-вакансий в NLP и 45 на всё ML, причём конкуренция на junior-вакансиях в 4 раза выше средней. Просто не будет. Как пройти этот отбор, мы разбираем на странице про поиск работы в ML.

Вопросы про LLM на собесах

Вопросы ниже с реальных собесов, ответы своими словами.

Что такое RAG, в чём его идея? Часто спрашивают в Ozon. Покажи связку: модель не знает твоих данных, поиск достаёт нужные куски, модель отвечает по ним. Сильный ответ называет компоненты: сплиттер, эмбеддинги, векторная база, реранкер, LLM.

Что такое реранкер и где он стоит? Вопрос из Ozon. Это модель, которая стоит после первичного поиска. Быстрый поиск находит, например, 50 кандидатов, а более точный реранкер оценивает пары «вопрос и кусок» и оставляет лучшие.

Что такое инструменты у LLM-агента? Тоже Ozon. Инструмент это функция с названием, описанием и схемой параметров. Сама модель ничего не запускает: она возвращает, что хочет вызвать и с какими аргументами. Код выполняет вызов и отправляет результат обратно.

Что такое LoRA? Спрашивают в Ozon. Low-Rank Adaptation: вместо изменения больших матриц весов обучают две маленькие матрицы, произведение которых добавляется к весам. Обучаемых параметров становится намного меньше.

Если у тебя в резюме RAG-проект, готовься к деталям: в Сбере просят рассказать, какую задачу он решает и кто им пользуется, в Т-Банке интересуются размером базы знаний. Больше вопросов в статье вопросы на собеседовании DS и ML.

Частые вопросы

Чем LLM отличается от нейросети?

LLM это один из видов нейросетей, большая модель для работы с текстом. Нейросеть может распознавать картинки, рекомендовать товары или прогнозировать спрос. Все LLM это нейросети, но обратное неверно.

Что такое токен простыми словами?

Это кусочек текста, с которым работает модель: слово, часть слова или знак. В английском токен в среднем ближе к целому слову, в русском слова часто разбиваются на несколько частей. Цену API и лимит контекста считают именно в токенах.

LLM leaderboard: стоит ли выбирать модель по рейтингу?

Рейтинг полезен для короткого списка кандидатов. Окончательно выбирать стоит на своих данных: возьми набор вопросов из своей задачи, прогони несколько моделей и сравни качество, цену и скорость. Модель с первой строчки может оказаться слишком дорогой или медленной для твоего случая.

Обязательно ли обучать свою модель, чтобы стать LLM-инженером?

Нет. В большинстве вакансий ждут работу с готовыми моделями: RAG, агентов, оценку качества и запуск. Понимать, как устроено обучение, всё равно надо, об этом спросят на собесе. Дообучение обязательно только в 18% вакансий нашего среза.

Чем LLM-инженер отличается от NLP-инженера?

Границы размыты, в наших данных направления сильно пересекаются: LLM упоминается в 89% вакансий NLP/LLM. LLM-инженер больше занят агентами, RAG и запуском больших моделей. NLP-инженер чаще работает ещё и с классификацией, поиском и дообучением моделей вроде BERT.

Нужна помощь с поиском работы?

Помогаю найти работу ML-инженером и Data Scientist. На бесплатной консультации за 20 минут разберём, где ты сейчас, какая цель и как до неё дойти.

Записаться на бесплатную консультациюМенторство по ML

Читать дальше

Вопросы на собеседовании data scientist и ML-инженераСтажировка в Т-Банке: как попасть на ML, аналитику и данныеSQL вопросы на собеседовании и задачи с разбором