NLP: что это такое и чем занимается NLP-инженер
NLP (Natural Language Processing, обработка естественного языка) это раздел машинного обучения, где компьютер работает с человеческим языком: читает, понимает, ищет и пишет тексты. Письма, отзывы, договоры, обращения в поддержку и поисковые запросы обрабатываются именно так. NLP-инженер строит такие системы и выкатывает их в работу, и сейчас это самое массовое направление ML: в нашей выгрузке вакансий с hh.ru за октябрь 2026 на него приходится 52% рынка.
Частый вопрос: «это же про ChatGPT?». Частично. ChatGPT это один из инструментов внутри NLP, и многие задачи выгоднее решать без него. Разбираем по порядку.
Что такое обработка естественного языка простыми словами
«Естественный язык» значит обычный человеческий: русский, английский, любой другой. Язык программирования машина понимает по правилам, а живая речь полна опечаток, сленга и двусмысленностей.
Главная загвоздка в том, что компьютер умеет работать только с числами. Вся история NLP крутится вокруг одного вопроса: как превратить текст в числа и сохранить смысл. Каждый новый метод из раздела ниже это более удачный ответ на этот вопрос.
Чем занимаются технологии NLP
Когда ищут «обработка текста ИИ» или «обработка текста нейросетью», обычно имеют в виду пересказ и переписывание. Это только часть картины. Вот основные задачи.
| Задача | Что на входе | Что на выходе | Где встречается |
|---|---|---|---|
| Классификация | Обращение в поддержку | Категория: карта, кредит, жалоба | Банки, маркетплейсы |
| Извлечение сущностей | Договор, резюме | Суммы, даты, стороны, навыки | Юристы, HR |
| Поиск по смыслу | «кроссы на зиму» | Товар «утеплённые кроссовки» | Интернет-магазины |
| Анализ тональности | Отзывы о бренде | Позитив, негатив, нейтрально | Маркетинг, поддержка |
| Перевод, пересказ, исправление опечаток | Длинный или грязный текст | Чистый или короткий текст | Почти везде |
| Генерация ответа | Вопрос пользователя | Готовый текст | Боты, ассистенты |
| Работа с речью | Запись звонка | Текст, дальше обычный NLP | Колл-центры |
Обрати внимание на поиск по смыслу: в запросе «кроссы на зиму» и в товаре «утеплённые кроссовки» нет ни одного общего слова, хотя смысл один. Обычный поиск по словам тут бессилен.
Отдельный запрос «нейросеть для обработки больших текстов». У языковых моделей есть лимит на объём текста за один раз, он называется контекстом. Поэтому большой документ режут на куски и обрабатывают по частям. Как это устроено, разобрано в статье про LLM и токены.
Как это работает: от подсчёта слов к трансформерам
Эту эволюцию любят спрашивать на собесах, поэтому пройдём её с примерами.
Мешок слов и TF-IDF
Самый простой способ: считаем, какие слова есть в тексте, а порядок выбрасываем. Встретились «карта», «заблокировали», «срочно», значит обращение про карту.
Просто считать слова плохо, потому что самые частые из них ничего не значат. Поэтому придумали TF-IDF. TF это доля слова в тексте. IDF показывает, насколько слово редкое во всей коллекции: логарифм от числа всех документов, делённого на число документов с этим словом. Вес слова равен TF умножить на IDF.
Пример. В базе 1000 обращений, в нашем обращении 20 слов.
| Слово | Раз в тексте | TF | В скольких обращениях | IDF | TF-IDF |
|---|---|---|---|---|---|
| заблокировали | 2 | 0,1 | 10 | ln(100) = 4,61 | 0,46 |
| карта | 2 | 0,1 | 500 | ln(2) = 0,69 | 0,07 |
| и | 3 | 0,15 | 990 | ln(1,01) = 0,01 | 0,0015 |
Редкое «заблокировали» получило вес в разы больше, чем частая «карта», а союз «и» почти обнулился. Такие частые служебные слова называют стоп-словами. Раньше их часто удаляли заранее. Для современных моделей их обычно оставляют: «не» формально служебное слово, но в анализе тональности оно переворачивает смысл фразы.
TF-IDF с логистической регрессией до сих пор хороший первый шаг, с него удобно начинать любую задачу классификации. Вот рабочий пример на scikit-learn, данные придуманы для наглядности:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
texts = [
"заблокировали карту срочно помогите",
"не проходит оплата картой в магазине",
"хочу взять кредит на машину",
"какая ставка по кредиту наличными",
"ужасный сервис жду ответа третий день",
"пожаловаться на сотрудника отделения",
]
labels = ["карта", "карта", "кредит", "кредит", "жалоба", "жалоба"]
# char_wb режет текст на кусочки букв, это помогает с русскими падежами
model = make_pipeline(
TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 4)),
LogisticRegression(),
)
model.fit(texts, labels)
print(model.predict(["карта заблокирована что делать"])) # ['карта']
На шести примерах это, конечно, демонстрация. В работе таких текстов нужны тысячи, и качество меряют на отложенной выборке.
Эмбеддинги
Мешок слов не знает, что «кроссовки» и «кеды» похожи. Эмбеддинг решает это: каждое слово или текст превращается в набор чисел так, что близкие по смыслу оказываются рядом. Word2Vec и fastText строят такие векторы для отдельных слов.
Близость считают косинусом угла между векторами. Возьмём игрушечные векторы из двух чисел:
| Слово | Вектор | Косинус с «кроссовками» |
|---|---|---|
| кроссовки | (0,9; 0,1) | 1,00 |
| кеды | (0,8; 0,2) | 0,99 |
| кредит | (0,1; 0,9) | 0,22 |
В настоящих моделях чисел в векторе сотни, но логика та же. На этом и держится поиск по смыслу: запрос и документы превращаем в векторы, складываем в векторную базу и ищем ближайшие.
Трансформеры
У Word2Vec у слова один вектор на все случаи. Но «ключ от двери» и «ключ API» это разные ключи. Трансформер смотрит на слово с учётом всего окружения. Механизм, который за это отвечает, называется attention (внимание): для каждого слова модель решает, на какие другие слова фразы смотреть и насколько сильно.
BERT это трансформер, на котором держится большая часть продового NLP: классификация, извлечение сущностей, поиск.
LLM
LLM это огромные трансформеры, которые умеют писать текст. Они смогли появиться только после всех предыдущих шагов. Подробно про них в статье что такое LLM.
NLP и LLM это одно и то же?
Нет. NLP это вся область. LLM это один из инструментов в ней, сейчас самый громкий.
Простой пример. Раскидать миллион обращений в день по категориям небольшой BERT сделает быстрее, дешевле и стабильнее, чем большая LLM. За большую модель по API платишь за каждый запрос, за свой классификатор только за сервер. LLM подключают там, где надо рассуждать или писать ответ.
| Задача | С чего начать |
|---|---|
| Разложить тексты по категориям, данных много | TF-IDF как база, потом дообученный BERT |
| Вытащить поля из документов | Дообученный BERT или LLM, если форматы очень разные |
| Найти похожий текст | Эмбеддинги и векторная база |
| Ответить по внутренним документам | LLM и RAG |
| Написать текст, сделать пересказ | LLM |
Хороший NLP-инженер понимает, где что использовать. Плохой на любую задачу берёт самую большую модель и потом удивляется счёту за API.
Чем занимается NLP-инженер
NLP-инженер, NLP-специалист и NLP-разработчик в вакансиях обычно означают одно и то же. Типичная работа выглядит так:
- Собирает и чистит данные. Тексты грязные: опечатки, сленг, обрывки фраз.
- Дообучает модели под задачу. Берёт готовый BERT и учит его нужным категориям обращений.
- Строит поиск: эмбеддинги, векторная база, ранжирование результатов.
- Меряет качество и выкатывает в работу, где модель часто должна отвечать за миллисекунды.
- Всё чаще собирает решения поверх LLM: RAG и агентов.
Последний пункт сильно поменял профессию, и это видно по цифрам.
NLP вакансии: что просят на рынке
Мы разобрали открытые вакансии hh.ru, опубликованные с 25 сентября по 25 октября 2026: 751 ML-вакансия в России, Казахстане и Беларуси. На NLP и LLM из них пришлась 391, это 52%. Яндекс, Авито и Точка почти не публикуют ML-вакансии на hh, так что это срез hh, и весь рынок немного шире.
| Навык | Доля вакансий NLP/LLM |
|---|---|
| LLM | 89% |
| Python | 78% |
| AI-агенты | 76% |
| RAG | 59% |
| SQL | 47% |
| FastAPI/REST | 39% |
| Docker | 39% |
| Промпт-инжиниринг | 36% |
| LangChain | 28% |
| Эмбеддинги | 25% |
| Векторные базы | 24% |
Выводы прямые. Вакансий на NLP совсем без LLM осталось около 11%. Если хочешь в это направление, одного BERT уже мало: нужны агенты и RAG. Дообучение моделей обязательно только в 18% вакансий, ещё в 11% оно идёт плюсом. Каждая четвёртая вакансия направления открыта в банках и финансах, удалёнка возможна в 37% вакансий. Практический разбор одного из самых частых инструментов смотри в статье про LangChain.
Как войти в NLP с нуля
Порядок такой:
- База ML: метрики, переобучение, валидация. Без неё дальше будет тяжело, начни со статьи что такое машинное обучение.
- Устройство трансформера и attention. На собесе спросят почти наверняка.
- Возьми готовую модель с Hugging Face и дообучи на реальной задаче, например на классификации отзывов. Сравни результат с TF-IDF, и у тебя будет честный вывод с цифрами.
- Собери поиск по смыслу на эмбеддингах. Это прямой мостик к LLM и RAG.
- Сделай RAG на своих документах и измерь качество на наборе вопросов с правильными ответами.
Со стажировками картина скромная. За месяц на hh мы насчитали 45 junior-вакансий на всё ML, из них 14 в NLP. Стажировки есть и на сайтах компаний: на странице ML-стажировки Яндекса (проверено в ноябре 2026) прямо сказано, что кандидату с текстовым направлением желательно разбираться в трансформерах.
Частые ошибки новичков
- Брать LLM на задачу, которую решает простая модель. Получается дорого и нестабильно.
- Не делать простую базовую модель. Без неё непонятно, принёс ли BERT пользу.
- Смотреть только accuracy, когда классы несбалансированные. Если жалоб 2%, модель, которая никогда их не находит, покажет 98%.
- Учить модель на чистых данных и выкатывать на грязные. Тексты в работе всегда хуже обучающих.
- Перечислить в резюме всё подряд. Базу указывают почти все кандидаты, и на собесе начнут спрашивать «почему именно так». Как упаковать опыт и подготовиться к такому разговору, мы разбираем на странице про поиск работы в ML.
Какие вопросы про NLP задают на собесах
Вопросы ниже взяты с реальных собесов.
Какие способы получить эмбеддинги текста ты знаешь и как они работают? Спрашивали часто, в том числе в Ozon и Авито. Покажи развитие: TF-IDF это разреженный вектор по словарю без смысла. Word2Vec учит вектор слова по соседним словам. fastText добавляет кусочки слов и поэтому лучше справляется с опечатками и редкими формами. BERT учитывает контекст всей фразы, поэтому у одного слова в разных предложениях разные векторы.
Какая формула у TF-IDF? Вопрос из Авито. Формула выше по тексту. Хороший ответ сопровождается объяснением смысла: вес растёт от частоты слова в документе и падает от частоты слова во всей коллекции.
Из каких блоков состоит трансформер? Встречается в Ozon и Авито. Эмбеддинги токенов плюс информация о позиции, затем блоки из multi-head attention и полносвязной сети, между ними нормализация и skip-соединения. Если речь о классической схеме перевода, есть ещё кодировщик и декодировщик. Будь готов объяснить, зачем нужно внимание и как оно считается через запросы, ключи и значения.
Есть ли у тебя опыт работы с текстами? Частый вопрос в Сбере. Ответ по существу: какая была задача, какие данные, какую модель выбрал, чем измерил результат.
Больше вопросов собрано в статье вопросы на собеседовании DS и ML.
Частые вопросы
NLP это в машинном обучении что такое?
Это раздел машинного обучения про работу с человеческим языком. Модель получает текст или речь и классифицирует, ищет, извлекает данные или пишет ответ. В основе те же принципы, что и в остальном ML: данные, обучение, проверка качества.
Чем NLP отличается от LLM?
NLP это вся область задач с текстом. LLM это один тип моделей в этой области, очень большой трансформер, который умеет писать текст. LLM решают много задач NLP, но для части из них дешевле и надёжнее модели попроще.
Что такое стоп-слова в NLP?
Это частые служебные слова вроде «и», «в», «на», которые почти не несут смысла. В простых подходах вроде мешка слов их часто убирают заранее. Трансформерам их обычно оставляют, потому что порядок и служебные слова помогают понять смысл.
Как провести анализ тональности в NLP?
Начни с разметки: собери отзывы с оценками или размеченные вручную. Потом обучи простую модель на TF-IDF как базу и дообучи BERT на тех же данных. Сравни их на отложенной выборке по F1 и выбери вариант, который окупает свою сложность.
Нужно ли учить NLP, если всё делает ChatGPT?
Нужно, если хочешь работать инженером. Модель надо выбрать, подключить к данным, проверить качество и удержать счёт за API в рамках. Всё это NLP-задачи, и в вакансиях их просят постоянно.