Собеседование на аналитика данных: какие вопросы задают
На собеседовании на аналитика данных проверяют четыре вещи: SQL, A/B-тесты со статистикой, продуктовые метрики и твой опыт. Самая большая группа вопросов в наших данных про SQL. На собеседовании продуктового аналитика заметно больше внимания к экспериментам и метрикам.
Мы разобрали 368 реальных собесов учеников и собрали из них 7071 вопрос. Ниже вопросы на собеседовании аналитика, которые звучали у наших учеников, по темам. Часть про продуктовые кейсы дополнена нашими тренировочными задачами, такие места подписаны. Три вопроса разобраны подробно с числами.
Как проходит собеседование на аналитика
Обычно сначала разговор с рекрутером, потом техническая часть с SQL и вопросами по опыту, в продуктовых командах ещё кейсы. Порядок зависит от компании. Вопросы рекрутера вынесены в статью про HR-скрининг.
Вот как отличаются акценты между ролями. Это ориентир, названия позиций у всех разные, поэтому сверяй его с текстом вакансии.
| Роль | На чём акцент |
|---|---|
| Аналитик данных | SQL, работа с данными, инструменты |
| Продуктовый аналитик | Метрики продукта, A/B-тесты, кейсы |
| BI-аналитик | SQL, витрины, дашборды, BI-системы |
SQL для аналитика: вопросы на собеседовании
Теория:
- Какие оконные функции ты знаешь и чем они отличаются от агрегатных?
- Чем отличаются ROW_NUMBER, RANK и DENSE_RANK?
- В чём разница между WHERE и HAVING?
- Какие виды JOIN бывают и чем они отличаются?
- В каком порядке выполняются части запроса?
- Что такое CTE, какие плюсы и минусы?
- Что такое индексы?
- Чем DELETE отличается от TRUNCATE?
- Что даёт колоночное хранение в ClickHouse?
Задачи:
- LEFT JOIN таблицы из 10 строк с таблицей из 50 строк: какое минимальное и максимальное число строк?
- Сколько строк вернут INNER, LEFT и CROSS JOIN для таблиц с дублями ключей?
- По таблице покупок вывести последнюю покупку каждого пользователя.
- Для каждой даты вывести продукт с максимальной суммой продаж, при равенстве всех.
- Вывести клиентов с суммарным весом покупок больше 2 кг за последний месяц.
- Для каждого магазина найти пару товаров, которая чаще всего встречается в одном чеке.
- Вывести сотрудников с зарплатой выше, чем у их руководителя.
- Найти дни, когда температура выше, чем в предыдущий день.
- Как решить задачу о последнем клике без оконной функции?
Шесть таких задач с данными, запросами на PostgreSQL и результатами мы разобрали в статье про SQL на собеседовании. Отдельно про окна есть статья оконные функции SQL.
A/B-тесты и статистика
A/B-тест это эксперимент: часть пользователей видит новую версию, часть старую, и мы сравниваем метрику между группами.
Теория:
- Что такое p-value и как он считается?
- Как выбрать объём выборки и длительность A/B-теста?
- Насколько должны различаться конверсии в группах, чтобы считать разницу значимой?
По твоему опыту:
- Какой у тебя опыт A/B-тестов: практический или учебный, сам ли дизайнил и анализировал?
- Как был устроен A/B-тест в твоём проекте: дизайн, группы, рандомизация, метрики?
- Что было единицей рандомизации: пользователи или обращения и сессии?
- Как делили пользователей на группы и проверяли, что группы похожи?
- Какими статистическими тестами оценивали значимость?
- Ты сам считал эффект или этим занимался кто-то другой?
Кейс:
- Сейчас всем новым пользователям дают $5, но можно давать $3 или $10. Какой эксперимент ты бы запустил?
Разбор: что такое p-value
P-value это вероятность получить такую же или более сильную разницу между группами при условии, что на самом деле разницы нет.
Пример. В контроле 15 000 пользователей и конверсия 10%, в тесте 15 000 пользователей и конверсия 11%. Считаем z-тест для долей:
- средняя конверсия по двум группам: 10,5%;
- стандартная ошибка разницы: √(0,105 × 0,895 × 2 / 15 000) ≈ 0,00354;
- z = 0,01 / 0,00354 ≈ 2,83;
- двусторонний p-value ≈ 0,005.
Это меньше обычного порога 0,05, разницу считаем значимой.
Главная ошибка: сказать, что p-value это вероятность того, что гипотеза верна. Он считается при условии, что разницы нет, и сам по себе ничего не говорит о размере эффекта.
Разбор: как выбрать объём выборки
Заранее нужны три вещи: текущая конверсия, минимальный эффект, который хочется поймать, и принятые уровни ошибок. Обычно это значимость 5% и мощность 80%. Мощность это вероятность заметить эффект, если он есть.
Конверсия 10%, хотим поймать рост до 11%. Быстрая прикидка: n ≈ 16 × p × (1 − p) / δ², где δ это разница. Получаем 16 × 0,1 × 0,9 / 0,01² = 14 400. Точный расчёт для этих долей даёт около 14 750 пользователей на группу.
Длительность следует из трафика. Если в тест приходит 2000 новых пользователей в день, 29 500 человек наберутся примерно за 15 дней. Округляем до трёх полных недель, чтобы покрыть недельную сезонность. Частые ошибки: смотреть на результат каждый день и останавливать тест при первом значимом значении, менять дизайн по ходу, делить по сессиям, когда метрика считается по пользователям.
Разбор: кейс про $5, $3 и $10
Сначала уточни цель. Бонус стоит денег, значит смотреть только на конверсию нельзя: при $10 она скорее всего вырастет, вопрос окупится ли это.
Рабочий план ответа:
- Три группы случайно среди новых пользователей: $3, $5 как контроль и $10. Единица рандомизации это пользователь.
- Главная метрика: выручка на пользователя минус стоимость бонуса за выбранный горизонт, например 30 дней.
- Дополнительно: конверсия в первую покупку, удержание.
- Ограничивающие метрики: фрод и повторные регистрации ради бонуса.
- Размер групп: считаем отдельно на сравнение с контролем. Сравнений два, поэтому учитываем множественную проверку.
Продуктовые метрики и кейсы
Сначала несколько вопросов с собесов, потом термины и тренировочные кейсы.
С собесов:
- Как выглядит воронка от показов к покупкам и какие конверсии из неё отслеживать?
- Выручка единственная бизнес-метрика, которую ты бы отслеживал? Что ещё?
- Какие могут быть цели у продукта с рекомендациями и как он зарабатывает?
Эти термины нужно знать так, чтобы посчитать на месте. Пример: за месяц в продукт зашло 100 000 пользователей, 5000 заплатили, выручка 2 000 000 рублей.
| Метрика | Что значит | Пример |
|---|---|---|
| DAU, MAU | Уникальные пользователи за день и за месяц | MAU = 100 000 |
| Конверсия | Доля дошедших до целевого действия | 5000 / 100 000 = 5% |
| ARPU | Выручка на пользователя | 2 000 000 / 100 000 = 20 ₽ |
| ARPPU | Выручка на платящего | 2 000 000 / 5000 = 400 ₽ |
| Retention | Доля вернувшихся через N дней после старта | Считается по когортам |
| LTV | Выручка с пользователя за всё время | Прогноз по удержанию и ARPU |
Вот тренировочные кейсы, их мы написали сами, это типовой формат для отработки:
- DAU упал на 10% за неделю. Что будешь делать?
- Конверсия в покупку выросла, выручка упала. Как такое возможно?
- Какую главную метрику ты выбрал бы для приложения доставки продуктов и почему?
- Продакт хочет убрать один шаг из онбординга. Как проверишь, стоит ли?
Схема на первый кейс: сначала проверь, что данные не сломались (логирование, релиз трекера). Потом режь падение по срезам: платформа, страна, версия приложения, источник трафика, новые и старые пользователи. Сравни с прошлыми неделями, посмотри сезонность и релизы. Сформулируй гипотезы и проверь их. Рассуждение вслух тут важнее финальной причины.
Вопросы по опыту и инструментам
- С какими базами данных ты работал и как оцениваешь свой уровень?
- Как оцениваешь свой уровень в SQL и pandas?
- Где у вас хранились данные (Hadoop, Oracle, что-то ещё)?
- Работал ли ты с MS SQL Server? С ClickHouse?
- Расскажи об опыте с PostgreSQL и организации витрин данных.
- Какие инструменты визуализации и BI-системы (сервисы для отчётов и дашбордов) ты знаешь и с какими работал?
- Приходилось ли использовать оконные функции на работе?
Большие данные спрашивают отдельно, чаще всего через Spark:
- Есть ли опыт работы с большими данными (Spark)?
- Чем Spark отличается от Hadoop MapReduce?
- Из каких компонентов состоит Apache Spark?
- Что такое broadcast join и как джойнить большую таблицу с маленькой?
- Что такое MapReduce и как он работает? Какие этапы есть помимо Map и Reduce?
- Разложи подсчёт слов в тексте на MapReduce.
- Что такое HDFS и чем он отличается от обычной файловой системы?
Если Spark в работе не было, не придумывай. Скажи, с какими объёмами работал, и покажи, что понимаешь идею: данные не помещаются на одну машину, поэтому их обрабатывают по частям на многих.
На вопрос про A/B-тесты и опыт отвечай через конкретику: какая была гипотеза, какая метрика, что вышло и что решили. Общие слова «участвовал в анализе» сразу вызывают уточняющие вопросы.
Как подготовиться к собеседованию на аналитика
- SQL на автомате: JOIN с дублями, HAVING, оконные функции. Пиши запросы без автодополнения.
- Статистика на примере: p-value, объём выборки, ошибки первого и второго рода.
- Метрики: посчитай таблицу выше на своих числах.
- Два кейса вслух, с таймером на 15 минут.
- Проекты из резюме по схеме: задача, данные, что сделал лично, результат в числах.
- Репетиция с живым человеком, это мок-собеседование.
Если откликов пока мало и до собесов дело не доходит, начни со статьи про то, почему нет откликов на резюме. Как мы помогаем найти работу в аналитике, рассказываем здесь.
Частые вопросы
Какие вопросы задают на собеседовании аналитика данных чаще всего?
Из технических в наших данных лидируют опыт со Spark и базами данных, опыт A/B-тестов, оконные функции и разница между WHERE и HAVING. Плюс общие вопросы рекрутера: о себе, причина ухода, зарплатные ожидания.
Чем собеседование продуктового аналитика отличается от аналитика данных?
В продуктовых командах обычно больше экспериментов и метрик, в кейсах просят найти причину изменения метрики или придумать тест. SQL всё равно проверяют. Точный состав смотри в вакансии и уточняй у рекрутера.
Нужен ли Python на собеседовании аналитика?
Из вопросов про Python у аналитиков в наших данных чаще звучит вопрос об уровне pandas. Требования зависят от вакансии: читай описание и будь готов показать базовую работу с таблицами в pandas.
Какие задачи дают на собеседовании аналитику?
Чаще всего SQL: соединения, последняя запись в группе, лидер за день. Ещё бывают кейсы на эксперимент и метрики, например подбор размера бонуса для новых пользователей.