Вопросы на собеседовании data scientist и ML-инженера
На собеседовании data scientist и ML-инженера спрашивают про опыт, основы машинного обучения, метрики, градиентный бустинг, работу с признаками и ML System Design. Самые частые вопросы вообще не технические: расскажи о себе, почему уходишь, где заканчивалась твоя зона ответственности, какие зарплатные ожидания. Первый технический вопрос по частоте про то, какие модели ты использовал и почему.
Мы разобрали 368 реальных собесов учеников и собрали из них 7071 вопрос. Ниже реальные формулировки по темам, приведённые к нормальному русскому. Основная часть это списки, два самых частых технических вопроса разобраны подробно: ROC AUC и бустинг.
Как проходит ML собеседование
Обычно сначала разговор с рекрутером, потом техническое интервью, иногда отдельно алгоритмы и ML System Design. Состав секций зависит от компании и команды. Вопросы рекрутера мы вынесли в статью про HR-скрининг, здесь только техника и опыт.
Основы ML: вопросы на собеседовании
Переобучение и регуляризация:
- Что такое регуляризация?
- Чем отличаются L1 и L2 и когда какую использовать?
- Что такое переобучение и как понять, что модель переобучилась?
- Что такое bias-variance trade-off?
- Какие смещение и дисперсия у глубокого и неглубокого решающего дерева?
- Как случайный лес и бустинг работают со смещением и дисперсией?
Деревья и линейные модели:
- Как в решающем дереве выбираются признак и порог разбиения?
- Что такое случайный лес, как он устроен и как обучается?
- За счёт чего деревья в случайном лесе получаются разными и зачем нужна их непохожесть?
- Какие способы решения задачи линейной регрессии возможны?
Валидация:
- Зачем делить данные на train, validation и test? Почему нельзя обойтись только тестом?
- Как связаны подбор гиперпараметров и кросс-валидация? Что лучше: кросс-валидация или одна валидационная выборка?
- Как правильно разделить данные и валидировать модель для временных рядов?
Смещение и дисперсия звучат страшно, но идея простая. Смещение это систематическая ошибка: модель слишком простая и не улавливает закономерность. Дисперсия это чувствительность к конкретной выборке: модель слишком сложная и выучила шум. Об этой паре спрашивают постоянно, поэтому продумай её на примере дерева.
Метрики: что спрашивают чаще всего
Классификация:
- Какие метрики применяются для бинарной классификации, их плюсы и минусы, когда какую применять?
- Что такое ROC-AUC, как строится ROC-кривая и как считается площадь под ней?
- Какая модель лучше: с ROC-AUC 0.8, 0.7 или 0.15? Что значит ROC-AUC меньше 0.5?
- Как объяснить бизнесу, что значит ROC-AUC = 0.8?
- Чему равен ROC-AUC случайной и константной модели?
- Как изменится ROC-AUC, если умножить скоры на константу или применить a·x + b?
- Как ведёт себя ROC-AUC при сильном дисбалансе классов и когда смотреть PR-AUC?
- Какую метрику использовать при пропорции классов 1 к 99 и почему?
- Что такое precision и recall?
- Почему в F-мере precision и recall объединяют средним гармоническим?
- Что такое калибровка вероятностей, зачем она нужна и какими методами её делают?
Регрессия и ранжирование:
- Какие метрики используются для регрессии и когда какую применять?
- В чём разница между MSE и MAE и когда какую использовать, например при выбросах?
- Какие бывают офлайн-метрики ранжирования кроме NDCG?
- В чём разница между MAP и NDCG?
Разбор: что такое ROC AUC
Скор это число, которое модель выдаёт объекту, чем больше, тем увереннее она в положительном классе. ROC-кривая показывает, как меняются доля верно найденных положительных объектов (TPR) и доля ложных срабатываний (FPR), когда мы двигаем порог от большого скора к маленькому. ROC AUC это площадь под этой кривой.
Гораздо полезнее другая формулировка: ROC AUC равен вероятности того, что случайный положительный объект получит скор выше случайного отрицательного. Именно так можно объяснить 0.8 бизнесу: в 80% случаев модель поставит клиента, который действительно уйдёт, выше клиента, который останется.
Посчитаем на четырёх объектах:
| Объект | Скор | Класс |
|---|---|---|
| a | 0.9 | 1 |
| b | 0.6 | 0 |
| c | 0.4 | 1 |
| d | 0.2 | 0 |
Положительных два, отрицательных два, значит пар 2 × 2 = 4. Смотрим каждую пару: a выше b, a выше d, c ниже b, c выше d. Правильно упорядочены три пары из четырёх, ROC AUC = 3 / 4 = 0.75.
Проверим через кривую. Сортируем по убыванию скора и идём от точки (FPR 0, TPR 0): a поднимает TPR до 0.5, b сдвигает FPR до 0.5, c поднимает TPR до 1, d сдвигает FPR до 1. Площадь: 0.5 × 0.5 + 0.5 × 1 = 0.75. Сошлось.
Отсюда ответы на самые частые уточнения:
- Случайная модель даёт 0.5. Константная тоже: все пары равны, а ничья считается за половину.
- ROC AUC зависит только от порядка объектов. Умножение на положительное число и прибавление константы его не меняют. При отрицательном a порядок переворачивается, и получается 1 − AUC, в нашем примере 0.25. При a = 0 все скоры равны, получается 0.5.
- Модель с 0.15 лучше модели с 0.8: инвертируй скоры и получишь 0.85. Но сначала выясни, почему порядок перевёрнут. Часто это ошибка в метках.
- При дисбалансе 1 к 99 ROC AUC может выглядеть красиво, потому что отрицательных много и FPR растёт медленно. Если важна точность на редком классе, смотри ещё PR-AUC, площадь под кривой precision и recall.
Частая ошибка: говорить, что ROC AUC 0.8 значит «модель права в 80% случаев». Это про порядок пар, про долю верных ответов он ничего не говорит.
Бустинг: вопросы на собеседовании
- Как работает и как обучается градиентный бустинг?
- На какой таргет обучается каждое следующее дерево? Что такое псевдоостатки?
- Градиент какой функции и по какой переменной считается?
- В чём разница между случайным лесом и бустингом, как они строятся?
- Расскажи про бустинг и бэггинг.
- Какой глубины должны быть деревья в случайном лесе и в бустинге и почему?
- Что будет с качеством леса и бустинга, если удалить одно дерево: первое, последнее, из середины?
- Какие основные гиперпараметры у бустинга и какие настраивать в первую очередь?
- Как бороться с переобучением в бустинге?
- Обязательно ли бустинг строится на деревьях?
- Страдает ли бустинг от коррелирующих признаков?
- Может ли бустинг на деревьях предсказать значение за пределами таргета из обучения?
- Чем отличаются CatBoost, XGBoost и LightGBM и когда какой выбирать?
Разбор: как работает градиентный бустинг
Бустинг строит деревья последовательно. Каждое следующее исправляет ошибку уже построенного ансамбля, и его предсказание добавляется к общему с небольшим коэффициентом, learning rate.
Пример на регрессии с функцией потерь MSE. Таргеты: 10, 20, 30.
| Шаг | Объект 1 | Объект 2 | Объект 3 |
|---|---|---|---|
| Таргет | 10 | 20 | 30 |
| Старт: среднее | 20 | 20 | 20 |
| Остаток | −10 | 0 | 10 |
| Новое предсказание при learning rate 0.1 | 19 | 20 | 21 |
| Новый остаток | −9 | 0 | 9 |
Считаем, что первое дерево выучило остатки точно. Мы сдвинулись на 10% в нужную сторону, и ошибка уменьшилась. Следующее дерево обучается уже на −9, 0, 9.
Откуда тут градиент. Для функции потерь L считаем производную по текущему предсказанию модели F для каждого объекта и берём её с минусом. Это и есть псевдоостатки, на них учится следующее дерево. Для потерь (y − F)² / 2 производная равна F − y, а с минусом получается y − F, то есть обычный остаток. Для других функций потерь, например логистической в классификации, псевдоостатки выглядят иначе, но схема та же. Получается градиентный спуск в пространстве предсказаний.
Поэтому в бустинге обычно неглубокие деревья: каждое простое и даёт небольшой шаг, ансамбль снижает смещение. В случайном лесе деревья независимые и глубокие, усреднение снижает дисперсию. Подробнее про применение этих моделей в статье про классический ML.
Признаки: отбор, кодирование, пропуски
- Признаков тысячи, в модели нужно оставить десятки: как по шагам провести отбор?
- Какие есть методы кодирования категориальных признаков?
- Как правильно считать target encoding на train, test и инференсе, чтобы не было утечки?
- Для каждого метода заполнения пропусков (медиана, константа, флаг) приведи типичную причину пропуска, когда он уместен.
- Как посчитать встроенную важность признаков в дереве, случайном лесе и бустинге?
- Как оценить важность признаков в уже обученной модели?
- Что такое SHAP values и как работает этот метод?
- Как был организован отбор признаков в твоём проекте?
Target encoding это замена категории на среднее значение таргета по ней. Утечка возникает, когда при расчёте этого среднего используется таргет самого объекта. Если ты упомянул этот метод, будь готов рассказать, как считал его без утечки.
ML System Design на собеседовании
ML System Design это секция, где дают бизнес-задачу и просят спроектировать решение целиком. Типовой кейс в наших данных: персональные рекомендации на маркетплейсе.
- Спроектируй персональную рекомендательную систему для главной страницы маркетплейса.
- Какой главный вопрос нужно задать в самом начале проектирования?
- Какие могут быть цели у рекомендательной системы? Выручка единственная бизнес-метрика или есть другие?
- Какую базовую модель ты бы предложил? Какие плюсы и минусы у бейзлайна «последние просмотренные товары»?
- Как строить рекомендации, если есть только история взаимодействий с товарами?
- Какие атрибуты товаров ты бы добавил?
- Как искать товары, ближайшие к вектору пользователя?
- Как бороться с холодным стартом?
- Как разбить данные взаимодействий на train и test: случайно, по пользователям или по времени?
- Как часто обновлять модель и как это связано с периодом валидации?
- Как выглядит воронка от показов к покупкам и какие метрики из неё отслеживать?
- Чего не учитывает Recall@K и какую метрику добавить, чтобы учесть позицию товара?
Рабочий порядок ответа: цель и бизнес-метрика, простой бейзлайн, данные и признаки, модель, офлайн-валидация, A/B-тест, мониторинг. Начинай с уточняющих вопросов, сразу называть архитектуру рано. Разобраться в теме поможет статья про рекомендательные системы.
Задачи на собеседовании data science
Алгоритмы встречаются далеко не везде, но готовым быть стоит. Звучали такие задачи:
- Сгруппировать анаграммы в массиве строк.
- Свернуть список различных целых чисел в строку диапазонов.
- Найти максимум в каждом скользящем окне ширины w. Можно ли быстрее, чем O(N·W)?
- Перекрасить связную область на матрице (flood fill).
- Какая сложность твоего решения по времени и по памяти?
- Почему конкатенация строк через
+в цикле неэффективна?
Вопрос про сложность звучит чаще всех остальных из этого блока, так что называй её сам, не дожидаясь. SQL тоже спрашивают, разобранные задачи есть в статье про SQL на собеседовании.
Вопросы по опыту
Модели и метрики в твоих проектах:
- Какие модели ты использовал в работе и почему именно их?
- Какие метрики вы использовали и как выбирали метрику под задачу?
- Почему выбрали именно эту реализацию бустинга?
- Сталкивались ли вы с дисбалансом классов и как с ним боролись?
- Какие модели использовал для временных рядов?
- Как объяснить ошибку модели (например, MAE) нетехническому директору?
Прод, то есть работа модели в боевой системе:
- Как вы контролировали качество модели в проде?
- По каким признакам понять, что модель устарела и её пора переобучить?
- Занимался ли ты выводом моделей в прод сам или передавал дальше?
- Как вы выводили модель в прод: какая инфраструктура и стек?
- Модель работала онлайн через API или батчево?
- Есть ли опыт с Docker, Kubernetes, Airflow?
- Есть ли опыт разработки API для моделей (FastAPI, Flask)?
Здесь видно, чем отличается ответ сильного кандидата. Слабый перечисляет: «использовал CatBoost, ROC AUC 0.8». Сильный объясняет выбор: какая была задача, какие данные, почему такая метрика, что изменилось в бизнесе. Готовь по каждому проекту из резюме эту связку.
Как подготовиться к собеседованию data scientist
Если ты junior и времени мало, иди в таком порядке:
- Рассказ о себе и ответы про мотивацию.
- Метрики классификации и ROC AUC на примере с числами.
- Деревья, случайный лес, бустинг.
- Переобучение, регуляризация, валидация.
- Разбор своих проектов по вопросам из раздела про опыт.
- Один кейс ML System Design от начала до конца.
Вопросы на удивление повторяются, но знать формулировку мало. Надо ответить вслух, живому человеку, с уточнениями. Для этого есть мок-собеседование. Как мы помогаем найти работу в ML и как готовимся к собесам по таким спискам, рассказываем на странице направления.
Частые вопросы
Что спрашивают на собеседовании data scientist чаще всего?
Рассказ о себе, причина ухода, зона ответственности и зарплатные ожидания. Из техники в лидерах какие модели ты использовал, как работает бустинг, метрики бинарной классификации и ROC AUC.
Чем отличается собеседование ML-инженера от data scientist?
Единого правила нет, названия ролей в компаниях сильно пересекаются. Вопросы из этой статьи звучат на обе. Там, где от тебя ждут вывод моделей в прод, усиливай подготовку по блоку «Прод».
Что такое ML System Design на собеседовании?
Секция, где ты проектируешь решение бизнес-задачи целиком: от цели и метрик до A/B-теста и мониторинга. Проверяют способность вести задачу, поэтому начинай с уточняющих вопросов. Знание конкретной архитектуры тут вторично.
Нужно ли учить все вопросы из списка?
Нет. Начни с тех, что звучат чаще всего: метрики, бустинг, переобучение, проекты из резюме. Потом добирай темы под конкретную вакансию.