Блог

Классический ML: градиентный бустинг, скоринг и отток простыми словами

Богдан Камаев, ментор · 8 ноября 2026

Классический ML это машинное обучение на табличных данных: строка описывает объект (клиента, заказ, транзакцию), столбцы описывают его признаки, а модель по прошлым строкам учится предсказывать ответ для новых. Главный инструмент здесь градиентный бустинг, ансамбль решающих деревьев, где каждое следующее дерево исправляет ошибки предыдущих. На этом держатся кредитный скоринг, прогноз оттока и спроса, антифрод.

Самое скучное название в ML и самое близкое к деньгам направление. Твоя модель решает, кому банк выдаст кредит. Ошибся, потерял деньги. Если совсем не знаешь, что такое ML, начни со статьи что такое машинное обучение.

Классические задачи: классификация, регрессия, кластеризация

Тип задачи Что предсказываем Пример
Классификация Класс Вернёт клиент кредит или нет
Регрессия Число Сколько пачек молока купят завтра в этом магазине
Кластеризация Группы без готовых ответов Какие сегменты есть среди клиентов

Классификация и регрессия это обучение с учителем: в данных есть правильные ответы. Кластеризация обходится без них, поэтому её качество сложнее измерить.

Классические алгоритмы машинного обучения

Если просят назвать три, начинай с логистической регрессии, случайного леса и бустинга. Полная картина такая:

Алгоритм Как работает Где полезен
Логистическая регрессия Взвешенная сумма признаков, переведённая в вероятность Базовое решение, простое объяснение
Решающее дерево Серия вопросов «признак больше порога?» Как кирпичик для ансамблей
Случайный лес Много глубоких деревьев на разных подвыборках, ответ усредняется Устойчивый вариант почти без настройки
Градиентный бустинг Неглубокие деревья строятся по очереди и исправляют ошибки Основной выбор для таблиц
K-средних Разбивает объекты на группы вокруг центров Кластеризация

Градиентный бустинг: что это и как работает

Представь команду, где каждый следующий участник смотрит только на промахи предыдущих и пытается их поправить. По отдельности каждый слаб. Вместе получается сильная модель. Отдельное дерево здесь неглубокое, такую модель называют слабой.

Считаем руками

Предсказываем траты клиента (тысячи рублей) по числу заходов в приложение. Клиентов четыре, деревья с одним разбиением, шаг обучения (learning rate) 0,5. Он определяет, какую часть поправки дерева мы применяем.

Начинаем со среднего: (10 + 14 + 30 + 38) / 4 = 23. Первое дерево учится на остатках, то есть на разнице между фактом и прогнозом: -13, -9, +7, +15. Лучшее разбиение отделяет клиентов с числом заходов до 5. Среднее остатков слева -11, справа +11. Прогноз меняется на половину этой поправки: 23 - 5,5 = 17,5 и 23 + 5,5 = 28,5.

Клиент Заходов Факт Старт После 1 дерева После 2 После 3
А 2 10 23 17,5 14,75 13,63
Б 3 14 23 17,5 14,75 13,63
В 8 30 23 28,5 31,25 30,13
Г 10 38 23 28,5 31,25 34,63
Средний квадрат ошибки 131 40,25 17,56 6,17

Каждое новое дерево снижает ошибку на обучающих данных. Третье уже делит клиентов иначе: до 9 заходов и от 10. Весь алгоритм это и есть такой цикл, только деревьев сотни или тысячи.

Откуда слово «градиентный»

Остатки здесь не случайны. Градиент это направление самого быстрого роста функции, антиградиент указывает, куда её уменьшать. В бустинге берут антиградиент функции потерь (штрафа за ошибку) по текущим предсказаниям модели. Для квадратичной ошибки он совпадает с обычным остатком. Для других функций получаются псевдоостатки, и следующее дерево учится на них.

Отсюда разница с градиентным спуском в машинном обучении. Обычный спуск двигает веса модели, например нейросети. Бустинг шагает в пространстве предсказаний и на каждом шаге добавляет новое дерево.

Чем бустинг отличается от случайного леса

Случайный лес Градиентный бустинг
Как строятся деревья Независимо и параллельно Последовательно
Глубина Большая Обычно небольшая
Что снижает Разброс (дисперсию) В первую очередь смещение
Больше деревьев Качество выходит на плато Можно переобучиться

У всех моделей на деревьях есть общее ограничение: они плохо экстраполируют. Обычный бустинг на деревьях не предскажет значение далеко за пределами того, что видел в обучении. Если спрос растёт из года в год, дерево этого тренда само не продолжит.

Что настраивать в первую очередь

CatBoost, LightGBM и XGBoost: сравнение

Библиотека Особенность Когда смотреть
CatBoost Сам работает с категориальными признаками, симметричные деревья, упорядоченный бустинг против утечки таргета Много категорий, нужен хороший результат на настройках по умолчанию
LightGBM Гистограммы и рост дерева по листьям (leaf-wise) Большие данные и важна скорость обучения, но следи за переобучением
XGBoost Зрелая библиотека с богатой регуляризацией Нужна гибкость и широкая поддержка в инфраструктуре

Универсального победителя нет. Качество обычно близкое, поэтому решают данные, скорость и то, что уже есть в команде. Перебирать все три имеет смысл в конце, сначала лучше поработать над признаками.

CatBoost на Python: пример

Как работает CatBoost на практике, проще всего увидеть на маленькой задаче. Установка: pip install catboost scikit-learn pandas. Данные сгенерируем сами, модель предсказывает отток.

import numpy as np
import pandas as pd
from catboost import CatBoostClassifier
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(42)
n = 20_000

df = pd.DataFrame({
    "visits_30d": rng.poisson(6, n),
    "spend_30d": rng.gamma(2, 1500, n).round(),
    "tickets_90d": rng.poisson(0.5, n),
    "tariff": rng.choice(["free", "basic", "pro"], n, p=[0.5, 0.35, 0.15]),
})

# Правило, которое модель должна найти сама. Траты в него не входят
tariff_effect = df["tariff"].map({"free": 0.8, "basic": 0.0, "pro": -0.8})
logit = -0.5 - 0.35 * df["visits_30d"] + 0.9 * df["tickets_90d"] + tariff_effect
df["churn"] = (rng.random(n) < 1 / (1 + np.exp(-logit))).astype(int)

X, y = df.drop(columns="churn"), df["churn"]
X_train, X_rest, y_train, y_rest = train_test_split(
    X, y, test_size=0.4, stratify=y, random_state=42
)
X_valid, X_test, y_valid, y_test = train_test_split(
    X_rest, y_rest, test_size=0.5, stratify=y_rest, random_state=42
)

model = CatBoostClassifier(
    iterations=1000,
    learning_rate=0.05,
    depth=4,
    eval_metric="AUC",
    random_seed=42,
    verbose=False,
)
model.fit(
    X_train, y_train,
    cat_features=["tariff"],
    eval_set=(X_valid, y_valid),
    early_stopping_rounds=50,
)

proba = model.predict_proba(X_test)[:, 1]
auc = roc_auc_score(y_test, proba)
print(f"Деревьев: {model.tree_count_}")
print(f"ROC AUC: {auc:.3f}, Gini: {2 * auc - 1:.3f}")
print(model.get_feature_importance(prettified=True))

У меня на CatBoost 1.2.7 получилось 116 деревьев, ROC AUC 0,777 и Gini 0,555. В важности признаков лидируют заходы, обращения в поддержку и тариф, а на траты приходится около 2%. Модель сама поняла, что траты здесь почти ничего не решают.

На настоящих данных разбивай выборку по времени: учись на прошлом, проверяй на будущем. Случайное разбиение тут оставлено только ради простоты. Для LightGBM логика та же: LGBMClassifier, категории в типе category, ранняя остановка через callbacks.

Метрики классификации в машинном обучении

Пусть у нас 10 000 клиентов, из них уходит 500. Модель отмечает 800 как рискованных и угадывает 300.

Метрика Смысл Значение
Accuracy Доля всех верных ответов 93%
Precision Какая доля отмеченных реально уходит 300 / 800 = 37,5%
Recall Какую долю уходящих мы нашли 300 / 500 = 60%
F1 Гармоническое среднее двух предыдущих 0,46

Модель, которая всем говорит «останется», дала бы accuracy 95%. Она точнее нашей и совершенно бесполезна. Поэтому при дисбалансе классов accuracy не смотрят.

ROC AUC показывает вероятность того, что случайный положительный объект получит скор выше случайного отрицательного. Случайная модель даёт 0,5. При редких положительных событиях полезно добавить PR AUC. В банках принято говорить про Gini: Gini = 2 × AUC - 1, то есть AUC 0,75 означает Gini 0,5.

Кредитный скоринг: как устроена модель

Кредитный скоринг оценивает вероятность дефолта (probability of default, PD), то есть того, что клиент перестанет платить. Сначала договариваются, что считать дефолтом и за какой срок. Распространённое определение: просрочка 90+ дней на горизонте 12 месяцев. Что считать дефолтом, 30+ или 90+, спрашивают на собесах в Ozon и Яндексе. В Ozon ещё спрашивают про окно созревания таргета: сколько ждать, пока ответ станет известен.

Модель нужна ради экономики. Условный пример: кредит на 100 000 ₽ приносит за год 20 000 ₽ процентами, при дефолте банк теряет 60 000 ₽.

PD клиента Ожидаемая прибыль Решение
5% 0,95 × 20 000 - 0,05 × 60 000 = 16 000 ₽ Выдавать
25% 0,75 × 20 000 - 0,25 × 60 000 = 0 ₽ Граница
30% 0,7 × 20 000 - 0,3 × 60 000 = -4 000 ₽ Отказать

В скоринге важна объяснимость, поэтому наряду с бустингом часто используют логистическую регрессию с понятной шкалой баллов. Проверяют модель на более позднем периоде (out-of-time). Отдельная сложность в том, что исходы известны только у тех, кому кредит выдали.

Отток и аплифт

Модель оттока находит клиентов, которые скоро уйдут. Первый шаг: определить, что такое уход. В подписке это отмена, в магазине, например, нет покупок 60 дней. Признаки считаются только по данным до момента прогноза, иначе случится утечка: модель подсмотрит будущее и на проде развалится. Часто спрашивают и про эксплуатацию: как модель поддерживается после запуска.

Звонить всем подряд дорого, и риск ухода тут плохой ориентир. Аплифт-модель ищет тех, на кого предложение реально повлияет. Условный пример на 1 000 звонков:

Сегмент Уйдёт без звонка Уйдёт со звонком Удержим
Высокий риск, звонок не помогает 40% 39% 10 клиентов
Средний риск, звонок помогает 20% 12% 80 клиентов

Модель оттока позвонила бы первым. Аплифт выберет вторых.

Другие задачи классического ML

Частые ошибки новичков

Классический ML: работа и что учить

В нашем срезе ML-вакансий на hh за 25.09–25.10.2026 классика занимает 155 из 751, это 21%, второе место после NLP и LLM. Главные наниматели: банки и ритейл. В ритейле это самое востребованное направление ML.

Что просят чаще всего: Python 91%, SQL 72%, матстат и теорвер 55%, pandas и numpy 50%, scikit-learn 41%, бустинги 40%, Spark или Hadoop 33%. Временные ряды просят в 24% вакансий и A/B-тесты в 22%, при этом в резюме откликнувшихся они встречаются только примерно у половины (46% и 55%). Это твоя точка отличия. Заодно разбери вопросы на собеседовании.

На собесах спрашивают конкретные задачи, абстрактной «классики» там нет. Поэтому выбирай один-два домена и копай глубоко. Я 6+ лет в ML (Ozon, VK, Сбер, Т-Банк в прошлом), в основном в рекомендациях и классике, и на менторстве по ML мы помогаем выбрать домен и найти работу.

Частые вопросы

Как обучается градиентный бустинг?

Один из самых частых теоретических вопросов на собесах, например в Сбере, Яндексе и Т-Банке. Первый прогноз обычно константа. Затем каждое новое дерево обучается на антиградиенте функции потерь по текущим предсказаниям, и его ответ с небольшим шагом добавляется к прогнозу.

Переобучится ли бустинг, если добавлять деревья?

Да, может. Каждое дерево продолжает подгоняться под оставшиеся ошибки обучающей выборки. Случайный лес от роста числа деревьев обычно только стабилизируется, потому что ответы усредняются. Для бустинга нужна ранняя остановка.

Обязательно ли бустинг строится на деревьях?

Нет. Базовой моделью может быть и другая слабая модель, например линейная. Деревья популярны, потому что хорошо ловят нелинейности и взаимодействия признаков, а также не требуют масштабирования данных.

Чем отличаются CatBoost, XGBoost и LightGBM?

CatBoost удобен при категориальных признаках, LightGBM обычно быстрее учится на больших данных, XGBoost зрелый и гибкий. Качество часто близкое, поэтому на собесе важнее объяснить свой выбор.

Нужен ли классический ML, если вокруг LLM?

Да. На таблицах бустинг остаётся стандартным выбором, и классика занимает пятую часть ML-вакансий в нашем срезе. Плюс её идеи (признаки, валидация, метрики, A/B-тесты) лежат в основе остальных направлений.

Нужна помощь с поиском работы?

Помогаю найти работу ML-инженером и Data Scientist. На бесплатной консультации за 20 минут разберём, где ты сейчас, какая цель и как до неё дойти.

Записаться на бесплатную консультациюМенторство по ML

Читать дальше

Вопросы на собеседовании data scientist и ML-инженераСтажировка в Т-Банке: как попасть на ML, аналитику и данныеSQL вопросы на собеседовании и задачи с разбором