Как проверить, что ML-система готова к production: какие контракты, rollout, мониторинг, rollback и quality gates нужны перед запуском?
Банк вопросов из реальных собеседований
Направления, темы и вопросы из записей интервью. Фильтры ниже сохраняются в ссылке.
Проектирование ML-систем
258 вопросов из реальных интервью
Как объяснить RAG простыми словами: retrieval, augmentation и generation, и почему это похоже на двухстадийные рекомендации?
Есть релевантные кандидаты поиска, но финальный порядок случайный. Какое простое решение можно запустить быстро?
Интервьюер спрашивает: зачем в Dockerfile нужен multistage build и что он дает в production?
Как объяснить cold start в RecSys и какие практичные решения предложить для нового пользователя и нового item?
Какие offline, online и guardrail-метрики выбрать для A/B-теста динамической стоимости доставки?
Как устроить Airflow-пайплайн для регулярного переобучения и offline inference модели? Какие компоненты, артефакты и оптимизации нужны?
Как использовать уже существующую матричную модель или ALS в задаче рекомендаций к текущей корзине, не потеряв постановку item-to-cart?
Нужно сделать рекомендации товаров в блоке корзины: 10 млн пользователей и 100 тыс. товаров. Как построить простой baseline через совместные покупки?
Объясните разницу между BERT-like encoder моделями и GPT-like decoder моделями, и почему они подходят для разных задач.
Что такое BERT, чем encoder отличается от decoder и какие pretraining-механизмы у BERT?
Как проектировать caching и latency budget для recommendation API?
Чем classified marketplace отличается от ecommerce для pricing, ranking и recommendation моделей?
Что такое continuous batching и зачем он нужен в inference больших языковых моделей?
Что такое data drift, как его выявлять в данных и какие сигналы мониторить у ML-модели в production?
Когда в LLM-ассистенте лучше deterministic routing, а не свободный agent/tool calling?
Как спроектировать endpoint, который вызывает нестабильный downstream или долгий pipeline и должен корректно переживать сбои?
Как превратить документы в признаки для прогноза: один summary, JSON-state или ленту событий?
Как работает function calling и как добиться корректного structured output?
Как использовать скрытый профиль студента и не дать пользователю вытащить его через prompt injection?
Как разложить realtime CTR dashboard на ingestion, stream aggregation, storage и API?
В realtime CTR dashboard есть поток impression/click events. Как разделить роли Kafka, S3 и ClickHouse?
Почему исторический backtest LLM-фичей может быть нечестным, даже если документы подаются с правильными датами?
LLM JSON extraction, контекст филиала и оценка качества