Как работают рекомендательные системы: подходы, метрики и задачи
Рекомендательная система это алгоритм, который из огромного каталога выбирает, что показать конкретному человеку прямо сейчас. Обычно она работает как воронка: дешёвые методы отбирают из миллионов объектов несколько тысяч подходящих кандидатов, тяжёлая модель их ранжирует, а финальный шаг добавляет разнообразие и бизнес-правила. Учится система на истории действий: что люди смотрели, покупали и пролистывали.
Я 6+ лет в ML (Ozon, VK, Сбер, Т-Банк в прошлом), в основном в рекомендациях и классике, поэтому разберём тему подробно: подходы, метрики, подводные камни и что спрашивают на собесах.
Рекомендательная система: что это и где встречается
В каталоге миллионы видео, товаров или треков. На экран помещается десяток. Какой именно десяток, решает рексис (так коротко называют RecSys, recommender systems).
Примеры:
| Где | Что выбирает система |
|---|---|
| Лента YouTube, ВК, Дзена | Что посмотреть или прочитать дальше |
| Маркетплейс | Главная, «похожие товары», «с этим покупают» |
| Музыка | Следующий трек, например в «Моей волне» |
| Поиск | Порядок результатов под тебя |
| Реклама | Какой баннер показать |
| Такси | Какого водителя дать под заказ |
На видеоплатформе или маркетплейсе рекомендации это сам продукт. Убери их, и останется склад, в котором ничего не найти.
На каких данных учатся рекомендации
Сигналы бывают двух видов:
- Явные. Лайк, оценка, отзыв. Понятные, но их мало.
- Неявные. Досмотрел, купил, пролистал за секунду. Их намного больше, но они шумные. Клик по кликбейту не значит, что понравилось.
Историю собирают в матрицу «пользователь × объект». В строках люди, в столбцах объекты (в индустрии их называют айтемами), на пересечении сигнал. Почти все ячейки пустые: каждый человек видел крошечную часть каталога. Вся задача в том, чтобы угадать значения в пустых клетках.
Подходы: от популярного до нейросетей
Популярное как базовое решение
Начинают с простого: популярное за неделю или недавно просмотренное. Это бейзлайн, отправная точка для сравнения. Персонализации тут нет, зато решение быстрое, и обойти его иногда сложнее, чем кажется.
Коллаборативная фильтрация
Главная идея: похожим людям нравится похожее. Содержимое объектов модель вообще не смотрит, ей хватает истории действий.
Item-based вариант считает похожими объекты, которые выбирают одни и те же люди. Маленький пример: четыре человека и пять сериалов, а рекомендовать будем Вере.
import numpy as np
# Строки: пользователи, столбцы: сериалы A, B, C, D, E. 1 значит «досмотрел»
R = np.array([
[1, 1, 1, 0, 0], # Аня
[1, 1, 0, 1, 0], # Боря
[0, 1, 1, 0, 0], # Вера
[0, 0, 0, 1, 1], # Гоша
])
# Косинусная близость между столбцами (сериалами)
norms = np.linalg.norm(R, axis=0)
sim = (R.T @ R) / np.outer(norms, norms)
np.fill_diagonal(sim, 0)
# Счёт сериала для Веры: сумма близостей к тому, что она уже посмотрела
scores = R[2] @ sim
scores[R[2] == 1] = -np.inf # уже посмотренное не рекомендуем
print("Счета:", np.round(scores, 2))
print("Рекомендация:", "ABCDE"[scores.argmax()])
Вера смотрела B и C. Близость A к ним 0,82 и 0,5, итого счёт 1,32. У D 0,41, у E ноль. Рекомендуем A.
Следующий шаг это матричная факторизация, например ALS. Матрицу взаимодействий раскладывают на два набора коротких векторов, их называют эмбеддингами: по одному на пользователя и на объект. Предсказание равно скалярному произведению. Если вектор пользователя (0,9; 0,1), объект с вектором (0,8; 0,2) получит 0,74, а объект с вектором (0,1; 0,9) получит 0,18. Первый покажем выше.
Контентные рекомендации
Здесь смотрят на сам объект: текст, категорию, цену, картинку. Профиль человека собирают из того, что ему понравилось, и ищут похожее по содержанию. Главный плюс: новый товар можно рекомендовать сразу, без истории. Минус: легко застрять в одном и том же и упустить неочевидное.
Гибридные и нейросетевые подходы
На практике подходы смешивают. Частый вариант это двухбашенная модель (two-tower): одна нейросеть превращает пользователя в вектор, другая делает то же с объектом, учитывая и историю, и контент. Ближайшие векторы к пользователю ищут приближённым поиском (HNSW, Faiss): он быстрый и работает на миллионах объектов. Для учёта порядка действий используют последовательные модели, например SASRec.
| Подход | Что нужно | Сильная сторона | Слабая сторона |
|---|---|---|---|
| Популярное | Логи действий | Просто, быстро | Нет персонализации |
| Коллаборативная фильтрация | История действий | Находит неочевидные связи | Холодный старт |
| Контентный | Описания объектов | Работает с новыми объектами | Однообразие |
| Двухбашенная модель | История и признаки | Масштабируется, учитывает всё сразу | Сложнее обучать и поддерживать |
Как устроена двухэтапная схема: отбор и ранжирование
Почему одной модели мало? Посчитаем. Пусть модель тратит 0,05 мс на объект, а каталог 10 миллионов. Это 500 секунд на один показ ленты, а бюджет на ответ порядка 200 мс. На 2 000 кандидатов та же модель уложится в 100 мс. Поэтому внутри воронка.
- Отбор кандидатов (retrieval). Дешёвые источники достают пару тысяч объектов: item2item, ALS, двухбашенная модель, популярное, история. Здесь важно не потерять хорошее, поэтому главная метрика Recall@K.
- Ранжирование. Тяжёлая модель оценивает каждого кандидата по сотням признаков: про пользователя, объект и их сочетание. Часто это градиентный бустинг, например CatBoost или LightGBM, про него есть отдельный разбор. Он учится на логах: что показали и что произошло.
- Реранкинг. Добавляют разнообразие и бизнес-правила: убирают то, чего нет в наличии, и разбавляют однотипное. Иначе после двух видео про дайвинг вся лента станет про дайвинг.
Метрики рекомендательных систем
Возьмём выдачу из 5 объектов. Релевантные стоят на позициях 1 и 4, а всего для пользователя таких объектов 3. @K значит, что смотрим только первые K позиций.
| Метрика | Что показывает | Расчёт | Итог |
|---|---|---|---|
| Precision@5 | Доля релевантных в выдаче | 2 / 5 | 0,40 |
| Recall@5 | Какую долю релевантных нашли | 2 / 3 | 0,67 |
| AP@5 | Среднее precision на позициях попаданий | (1/1 + 2/4) / 3 | 0,50 |
| NDCG@5 | Качество порядка с падающим весом позиции | 1,431 / 2,131 | 0,67 |
Recall@K не видит порядка. Сдвинь первое попадание с позиции 1 на позицию 2: Recall останется 0,67, NDCG упадёт с 0,67 до 0,50. MAP считается как среднее AP по пользователям и работает с бинарной релевантностью. NDCG понимает и градации: покупка может весить больше клика. Разницу между ними спрашивают на собесах, например в Т-Банке. Заодно считают покрытие каталога и разнообразие, чтобы система не скатывалась в одни хиты.
Бизнес смотрит на другое: клики, досмотры, покупки, выручку, возвращаемость. Одной выручки мало: её можно накрутить в короткую, ухудшив опыт, и тогда люди перестанут возвращаться.
Как проверять? Разбивай данные по времени: учись на прошлом, проверяй на будущем. Случайное разбиение подсмотрит будущее и завысит метрики. Этот вопрос встречается на собесах в VK, Яндексе, Авито и Т-Банке.
Офлайн при этом может врать. Модель выигрывает на исторических данных и проигрывает на живых людях, потому что логи содержат только то, что показала старая система. Поэтому финальное решение принимает A/B-тест.
Подводные камни
- Холодный старт. Нового пользователя или товара нет в истории. Новому человеку показывают популярное, учитывают регион и устройство, задают вопросы при входе. Новому товару помогают контентные признаки и небольшая гарантированная доля показов.
- Пузырь и петля обратной связи. Система учится на том, что сама показала, и всё сильнее сужает выбор. Лечат подмешиванием случайного и исследованием нового.
- Смещение в популярность. Хиты получают больше показов, значит больше данных и ещё больше показов.
- Кликбейт. Если оптимизировать только клики, лента этим и заполнится. Поэтому смотрят на досмотр и покупку.
- Скорость. Ответ нужен за доли секунды, а признаки должны быть свежими.
Чем рекомендательная система отличается от RAG
RAG (retrieval-augmented generation) находит документы по запросу и подаёт их в языковую модель, чтобы та сгенерировала ответ. Рексис ничего не генерирует и часто работает без запроса: сам выбирает и упорядочивает объекты, опираясь на поведение. Общее у них в поиске кандидатов по векторам. Подробнее о языковых моделях в статье про LLM.
Какие задачи решает инженер рекомендательных систем
Инженер строит и улучшает воронку. Вот типичные задачи:
- Добавить новый источник кандидатов, например item2item по совместным покупкам.
- Придумать признаки для ранжирования и проверить их на A/B-тесте.
- Выбрать цель модели: клик, досмотр, покупка или их сочетание.
- Решить холодный старт для новых товаров и авторов.
- Удержать время ответа на больших данных.
На собесах встречается кейс целиком: спроектировать персональные рекомендации для главной страницы маркетплейса (спрашивают в VK). Начинать стоит с цели и бизнес-метрик, потом бейзлайн, данные, воронка, метрики, A/B-тест.
Работа в рекомендательных системах: вакансии и спрос
RecSys вдвое дефицитнее NLP, классики и компьютерного зрения. Мы это померили. В срезе ML-вакансий на hh за 25.09–25.10.2026 RecSys занимает 32 из 751, это 4,2%. Вакансий мало, но кандидатов ещё меньше.
Мы опубликовали на hh по одной вакансии на каждое из четырёх направлений, собрали отклики и разметили резюме по реальному опыту. Потом взяли профильных кандидатов за первые 14 часов и поделили на число вакансий направления на hh за месяц:
| Направление | Профильных кандидатов на вакансию |
|---|---|
| NLP и LLM | 0,61 |
| Классический ML | 0,60 |
| Компьютерное зрение | 0,59 |
| Рекомендательные системы | 0,28 |
Абсолютные цифры это нижняя оценка: одна вакансия собирает не всех, кто ищет. Сравнивать направления между собой можно. RecSys как основное направление указано только у 1% откликнувшихся. И закрываются такие вакансии дольше всех: 38% висят месяц и дольше или их поднимают, в среднем по ML таких 20%.
Кто нанимает: 17 из 32 вакансий у интернет-компаний и маркетплейсов. Удалённая работа возможна в 47% вакансий. Яндекс и Авито почти не публикуются на hh, поэтому реальный рынок шире.
Что просят: Python 88%, рекомендательные системы 62%, SQL 59%, PyTorch 56%, A/B-тесты 47%, Spark или Hadoop 44%, ранжирование 41%, бустинги 38%.
Рекомендательные системы для начинающих: с чего начать и где учиться
- База классики: бустинги, признаки, валидация. Ранжирование стоит на них.
- Воронка, метрики ранжирования, A/B-тесты.
- Проект на открытых данных с логами действий: бейзлайн, ALS, ранжирование на бустинге, разбиение по времени, расчёт NDCG и Recall@K.
- Холодный старт, пузырь, отбор кандидатов. ALS по туториалу на собесе не хватит.
Из курсов: лекции Евгения Соколова «Рекомендательные системы: классические и нейросетевые подходы» из Computer Science клуба лежат на Лекториуме. У ВШЭ есть курс «Рекомендательные системы» на 2026/2027 учебный год: неперсонализированные и контентные модели, коллаборативная фильтрация, факторизация. Он идёт внутри учебной программы (всё проверено в ноябре 2026). Из книг: Kim Falk, Practical Recommender Systems для практики и Charu Aggarwal, Recommender Systems: The Textbook для теории.
Если хочешь в это направление всерьёз, на менторстве по ML мы помогаем подготовиться и найти работу.
Частые вопросы
Как работают рекомендательные системы простыми словами?
Система смотрит, что ты и похожие на тебя люди делали раньше, и предсказывает, что тебе понравится. Сначала быстро отбирает несколько тысяч вариантов, потом точная модель их сортирует. В конце правила добавляют разнообразие.
Какие есть способы борьбы с холодным стартом?
Для новых пользователей: популярное, контекст (регион, устройство), вопросы при входе. Для новых объектов: контентные признаки и гарантированная доля показов. Такой вопрос встречается на собесах в VK и Яндексе.
Чем отличаются коллаборативная и контентная фильтрация?
Коллаборативная смотрит только на поведение людей и находит неочевидные связи, но бессильна без истории. Контентная смотрит на свойства объекта и работает с новинками, но чаще предлагает однообразное. В реальных системах их совмещают.
Что учить, чтобы работать с рекомендательными системами?
Python, SQL, классический ML и бустинги, метрики ранжирования, A/B-тесты. PyTorch просят в 56% вакансий, Spark или Hadoop в 44%. Без понимания воронки на собеседовании будет тяжело.
Обязательно ли знать нейросети для рексиса?
Для старта достаточно классики и матричной факторизации, ранжирование часто строят на бустинге. PyTorch при этом просят в 56% вакансий в нашем срезе, поэтому для роста нейросетевые подходы нужны.