Блог

NLP: что это такое и чем занимается NLP-инженер

Богдан Камаев, ментор · 8 ноября 2026

NLP (Natural Language Processing, обработка естественного языка) это раздел машинного обучения, где компьютер работает с человеческим языком: читает, понимает, ищет и пишет тексты. Письма, отзывы, договоры, обращения в поддержку и поисковые запросы обрабатываются именно так. NLP-инженер строит такие системы и выкатывает их в работу, и сейчас это самое массовое направление ML: в нашей выгрузке вакансий с hh.ru за октябрь 2026 на него приходится 52% рынка.

Частый вопрос: «это же про ChatGPT?». Частично. ChatGPT это один из инструментов внутри NLP, и многие задачи выгоднее решать без него. Разбираем по порядку.

Что такое обработка естественного языка простыми словами

«Естественный язык» значит обычный человеческий: русский, английский, любой другой. Язык программирования машина понимает по правилам, а живая речь полна опечаток, сленга и двусмысленностей.

Главная загвоздка в том, что компьютер умеет работать только с числами. Вся история NLP крутится вокруг одного вопроса: как превратить текст в числа и сохранить смысл. Каждый новый метод из раздела ниже это более удачный ответ на этот вопрос.

Чем занимаются технологии NLP

Когда ищут «обработка текста ИИ» или «обработка текста нейросетью», обычно имеют в виду пересказ и переписывание. Это только часть картины. Вот основные задачи.

Задача Что на входе Что на выходе Где встречается
Классификация Обращение в поддержку Категория: карта, кредит, жалоба Банки, маркетплейсы
Извлечение сущностей Договор, резюме Суммы, даты, стороны, навыки Юристы, HR
Поиск по смыслу «кроссы на зиму» Товар «утеплённые кроссовки» Интернет-магазины
Анализ тональности Отзывы о бренде Позитив, негатив, нейтрально Маркетинг, поддержка
Перевод, пересказ, исправление опечаток Длинный или грязный текст Чистый или короткий текст Почти везде
Генерация ответа Вопрос пользователя Готовый текст Боты, ассистенты
Работа с речью Запись звонка Текст, дальше обычный NLP Колл-центры

Обрати внимание на поиск по смыслу: в запросе «кроссы на зиму» и в товаре «утеплённые кроссовки» нет ни одного общего слова, хотя смысл один. Обычный поиск по словам тут бессилен.

Отдельный запрос «нейросеть для обработки больших текстов». У языковых моделей есть лимит на объём текста за один раз, он называется контекстом. Поэтому большой документ режут на куски и обрабатывают по частям. Как это устроено, разобрано в статье про LLM и токены.

Как это работает: от подсчёта слов к трансформерам

Эту эволюцию любят спрашивать на собесах, поэтому пройдём её с примерами.

Мешок слов и TF-IDF

Самый простой способ: считаем, какие слова есть в тексте, а порядок выбрасываем. Встретились «карта», «заблокировали», «срочно», значит обращение про карту.

Просто считать слова плохо, потому что самые частые из них ничего не значат. Поэтому придумали TF-IDF. TF это доля слова в тексте. IDF показывает, насколько слово редкое во всей коллекции: логарифм от числа всех документов, делённого на число документов с этим словом. Вес слова равен TF умножить на IDF.

Пример. В базе 1000 обращений, в нашем обращении 20 слов.

Слово Раз в тексте TF В скольких обращениях IDF TF-IDF
заблокировали 2 0,1 10 ln(100) = 4,61 0,46
карта 2 0,1 500 ln(2) = 0,69 0,07
и 3 0,15 990 ln(1,01) = 0,01 0,0015

Редкое «заблокировали» получило вес в разы больше, чем частая «карта», а союз «и» почти обнулился. Такие частые служебные слова называют стоп-словами. Раньше их часто удаляли заранее. Для современных моделей их обычно оставляют: «не» формально служебное слово, но в анализе тональности оно переворачивает смысл фразы.

TF-IDF с логистической регрессией до сих пор хороший первый шаг, с него удобно начинать любую задачу классификации. Вот рабочий пример на scikit-learn, данные придуманы для наглядности:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline

texts = [
    "заблокировали карту срочно помогите",
    "не проходит оплата картой в магазине",
    "хочу взять кредит на машину",
    "какая ставка по кредиту наличными",
    "ужасный сервис жду ответа третий день",
    "пожаловаться на сотрудника отделения",
]
labels = ["карта", "карта", "кредит", "кредит", "жалоба", "жалоба"]

# char_wb режет текст на кусочки букв, это помогает с русскими падежами
model = make_pipeline(
    TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 4)),
    LogisticRegression(),
)
model.fit(texts, labels)

print(model.predict(["карта заблокирована что делать"]))  # ['карта']

На шести примерах это, конечно, демонстрация. В работе таких текстов нужны тысячи, и качество меряют на отложенной выборке.

Эмбеддинги

Мешок слов не знает, что «кроссовки» и «кеды» похожи. Эмбеддинг решает это: каждое слово или текст превращается в набор чисел так, что близкие по смыслу оказываются рядом. Word2Vec и fastText строят такие векторы для отдельных слов.

Близость считают косинусом угла между векторами. Возьмём игрушечные векторы из двух чисел:

Слово Вектор Косинус с «кроссовками»
кроссовки (0,9; 0,1) 1,00
кеды (0,8; 0,2) 0,99
кредит (0,1; 0,9) 0,22

В настоящих моделях чисел в векторе сотни, но логика та же. На этом и держится поиск по смыслу: запрос и документы превращаем в векторы, складываем в векторную базу и ищем ближайшие.

Трансформеры

У Word2Vec у слова один вектор на все случаи. Но «ключ от двери» и «ключ API» это разные ключи. Трансформер смотрит на слово с учётом всего окружения. Механизм, который за это отвечает, называется attention (внимание): для каждого слова модель решает, на какие другие слова фразы смотреть и насколько сильно.

BERT это трансформер, на котором держится большая часть продового NLP: классификация, извлечение сущностей, поиск.

LLM

LLM это огромные трансформеры, которые умеют писать текст. Они смогли появиться только после всех предыдущих шагов. Подробно про них в статье что такое LLM.

NLP и LLM это одно и то же?

Нет. NLP это вся область. LLM это один из инструментов в ней, сейчас самый громкий.

Простой пример. Раскидать миллион обращений в день по категориям небольшой BERT сделает быстрее, дешевле и стабильнее, чем большая LLM. За большую модель по API платишь за каждый запрос, за свой классификатор только за сервер. LLM подключают там, где надо рассуждать или писать ответ.

Задача С чего начать
Разложить тексты по категориям, данных много TF-IDF как база, потом дообученный BERT
Вытащить поля из документов Дообученный BERT или LLM, если форматы очень разные
Найти похожий текст Эмбеддинги и векторная база
Ответить по внутренним документам LLM и RAG
Написать текст, сделать пересказ LLM

Хороший NLP-инженер понимает, где что использовать. Плохой на любую задачу берёт самую большую модель и потом удивляется счёту за API.

Чем занимается NLP-инженер

NLP-инженер, NLP-специалист и NLP-разработчик в вакансиях обычно означают одно и то же. Типичная работа выглядит так:

Последний пункт сильно поменял профессию, и это видно по цифрам.

NLP вакансии: что просят на рынке

Мы разобрали открытые вакансии hh.ru, опубликованные с 25 сентября по 25 октября 2026: 751 ML-вакансия в России, Казахстане и Беларуси. На NLP и LLM из них пришлась 391, это 52%. Яндекс, Авито и Точка почти не публикуют ML-вакансии на hh, так что это срез hh, и весь рынок немного шире.

Навык Доля вакансий NLP/LLM
LLM 89%
Python 78%
AI-агенты 76%
RAG 59%
SQL 47%
FastAPI/REST 39%
Docker 39%
Промпт-инжиниринг 36%
LangChain 28%
Эмбеддинги 25%
Векторные базы 24%

Выводы прямые. Вакансий на NLP совсем без LLM осталось около 11%. Если хочешь в это направление, одного BERT уже мало: нужны агенты и RAG. Дообучение моделей обязательно только в 18% вакансий, ещё в 11% оно идёт плюсом. Каждая четвёртая вакансия направления открыта в банках и финансах, удалёнка возможна в 37% вакансий. Практический разбор одного из самых частых инструментов смотри в статье про LangChain.

Как войти в NLP с нуля

Порядок такой:

  1. База ML: метрики, переобучение, валидация. Без неё дальше будет тяжело, начни со статьи что такое машинное обучение.
  2. Устройство трансформера и attention. На собесе спросят почти наверняка.
  3. Возьми готовую модель с Hugging Face и дообучи на реальной задаче, например на классификации отзывов. Сравни результат с TF-IDF, и у тебя будет честный вывод с цифрами.
  4. Собери поиск по смыслу на эмбеддингах. Это прямой мостик к LLM и RAG.
  5. Сделай RAG на своих документах и измерь качество на наборе вопросов с правильными ответами.

Со стажировками картина скромная. За месяц на hh мы насчитали 45 junior-вакансий на всё ML, из них 14 в NLP. Стажировки есть и на сайтах компаний: на странице ML-стажировки Яндекса (проверено в ноябре 2026) прямо сказано, что кандидату с текстовым направлением желательно разбираться в трансформерах.

Частые ошибки новичков

Какие вопросы про NLP задают на собесах

Вопросы ниже взяты с реальных собесов.

Какие способы получить эмбеддинги текста ты знаешь и как они работают? Спрашивали часто, в том числе в Ozon и Авито. Покажи развитие: TF-IDF это разреженный вектор по словарю без смысла. Word2Vec учит вектор слова по соседним словам. fastText добавляет кусочки слов и поэтому лучше справляется с опечатками и редкими формами. BERT учитывает контекст всей фразы, поэтому у одного слова в разных предложениях разные векторы.

Какая формула у TF-IDF? Вопрос из Авито. Формула выше по тексту. Хороший ответ сопровождается объяснением смысла: вес растёт от частоты слова в документе и падает от частоты слова во всей коллекции.

Из каких блоков состоит трансформер? Встречается в Ozon и Авито. Эмбеддинги токенов плюс информация о позиции, затем блоки из multi-head attention и полносвязной сети, между ними нормализация и skip-соединения. Если речь о классической схеме перевода, есть ещё кодировщик и декодировщик. Будь готов объяснить, зачем нужно внимание и как оно считается через запросы, ключи и значения.

Есть ли у тебя опыт работы с текстами? Частый вопрос в Сбере. Ответ по существу: какая была задача, какие данные, какую модель выбрал, чем измерил результат.

Больше вопросов собрано в статье вопросы на собеседовании DS и ML.

Частые вопросы

NLP это в машинном обучении что такое?

Это раздел машинного обучения про работу с человеческим языком. Модель получает текст или речь и классифицирует, ищет, извлекает данные или пишет ответ. В основе те же принципы, что и в остальном ML: данные, обучение, проверка качества.

Чем NLP отличается от LLM?

NLP это вся область задач с текстом. LLM это один тип моделей в этой области, очень большой трансформер, который умеет писать текст. LLM решают много задач NLP, но для части из них дешевле и надёжнее модели попроще.

Что такое стоп-слова в NLP?

Это частые служебные слова вроде «и», «в», «на», которые почти не несут смысла. В простых подходах вроде мешка слов их часто убирают заранее. Трансформерам их обычно оставляют, потому что порядок и служебные слова помогают понять смысл.

Как провести анализ тональности в NLP?

Начни с разметки: собери отзывы с оценками или размеченные вручную. Потом обучи простую модель на TF-IDF как базу и дообучи BERT на тех же данных. Сравни их на отложенной выборке по F1 и выбери вариант, который окупает свою сложность.

Нужно ли учить NLP, если всё делает ChatGPT?

Нужно, если хочешь работать инженером. Модель надо выбрать, подключить к данным, проверить качество и удержать счёт за API в рамках. Всё это NLP-задачи, и в вакансиях их просят постоянно.

Нужна помощь с поиском работы?

Помогаю найти работу ML-инженером и Data Scientist. На бесплатной консультации за 20 минут разберём, где ты сейчас, какая цель и как до неё дойти.

Записаться на бесплатную консультациюМенторство по ML

Читать дальше

Вопросы на собеседовании data scientist и ML-инженераСтажировка в Т-Банке: как попасть на ML, аналитику и данныеSQL вопросы на собеседовании и задачи с разбором