Банк вопросов из реальных собеседований

В recommender system где важнее recall, а где precision?

В выборке 95 единиц и 5 нулей. Модель всегда предсказывает единицу. Посчитайте precision, recall и ROC-AUC, объясните, почему такая модель плохая, и как выбирать порог.

Как объяснить Precision/Recall и что проверять, если модель должна обобщаться на новые регионы или географические признаки?

Что такое квантильная регрессия и когда полезно предсказывать не среднее, а, например, 90-й квантиль?

Как объяснить NDCG/recall и какие online guardrails нужны для ranking model?

Кандидат рассказывает про RL-проект в drug discovery. Как объяснить постановку: состояние, действие, среда, reward и метрики качества?

Что означает ROC AUC и почему его можно понимать как метрику ранжирования?

В A/B тесте динамической доставки метрики прибыли и маржи могут иметь heavy tails. Когда использовать t-test, bootstrap или z-test?

Как строить top-K похожих item и управлять компромиссом между recall, latency и стоимостью?

Какие методы снижения дисперсии применимы в продуктовых экспериментах и где место CUPED?

Describe how you would train and validate a transformer-style reranking model for marketplace recommendations.

What does the Central Limit Theorem say and why is it important in statistics and A/B testing?

How can you get a sentence embedding from BERT, how do sentence transformers differ, and why is this similar to metric learning for image pairs?

Explain why statistical significance is needed in A/B tests, what a p-value means, and what affects whether an experiment is significant.

A binary image classifier is trained with BCE loss. On validation, accuracy rises but BCE loss also rises. Can this happen and what are plausible causes?

Minimizing squared error corresponds to maximum likelihood under what noise distribution, and why?

In PyTorch DDP training, which common layer can behave badly across processes and how do teams usually handle it?

A new perception detector improves some offline metrics but degrades others. How do you decide whether to ship it to production?

Как собрать датасет для модели, которая отличает один и тот же автомобиль от визуально похожего другого?

Дизайн A/B-теста, размер выборки и p-value

Извлечение полезного контента страницы перед суммаризацией

Команда активно использует AI coding tools. Какие риски нужно контролировать и как встроить это в инженерный процесс?

После первой модели нужно понять, какие признаки оставить и стала ли модель лучше. Какие offline-метрики и проверки использовать?

Как выглядит типичная задача от бизнеса или продукта? Что вы уточняете, если приходит верхнеуровневая идея вроде поднять метрику или автоматизировать решение?