Банк вопросов из реальных собеседований

ROC-AUC: построение и интерпретация

Расчет годового LTV подписки по retention curve

Как определить точность и полноту бинарного классификатора и чему они равны для диагностического теста из задачи с редким заболеванием?

Если провести 100 независимых тестов на уровне значимости 5%, что означает два p-value ниже 0.05?

Как проводить офлайн- и онлайн-эксперименты для рекомендательной модели? Что важно в A/B-тесте: MDE, p-value, выборка, сетевые эффекты и метрики?

Есть исторические пользователи и посчитанный LTV. Как использовать bootstrap, чтобы оценить разброс LTV и получить нижнюю границу для решения о закупке трафика?

Для чего нужен bootstrap и почему он сам по себе не уменьшает дисперсию эксперимента?

Что проверять, если ranking/model metric неожиданно низкая или модель выглядит overfit/underfit?

В чем разница между FP16 и BF16 и почему BF16 часто устойчивее для обучения?

Как обучать и оценивать модель, если положительный класс редкий?

Модель хорошо работает в среднем, но у части классов низкий F1. Как диагностировать и чинить?

Нужно прогнозировать выручку пользователя за 365 дней по ранним признакам. Почему прямой подход может плохо работать?

Как считать MAP/NDCG для рекомендаций и почему этих метрик недостаточно без бизнес-связки?

Как построить систему, которая по фотографиям объявлений понимает, что в отчете оказалась другая машина, и удаляет ошибочные совпадения?

Как использовать свежие неполные когорты, если R365 для них еще неизвестен?

Чем NDCG отличается от MAP и почему такие метрики сложно напрямую оптимизировать градиентным спуском?

Чем отличаются NDCG/MAP и pairwise losses вроде BPR/WARP?

Какие бывают negative sampling стратегии в metric learning/RecSys и зачем нужны in-batch negatives?

Какими offline-метриками и ручной оценкой проверить качество генерируемых объектных ответов перед A/B тестом?

Как построить offline evaluation framework для новой модели рекомендаций и связать его с online A/B тестом?

Какие метрики смотреть, когда выкатываешь новую рекомендательную или поисковую модель?

Какие online-метрики выбрать для A/B теста карточки с генерируемым описанием и какие guardrails поставить?

Как совместно объяснить p-value, уровень значимости и доверительный интервал?

Как коротко объяснить p-value, где он применяется, и как вывести формулу Байеса через условную вероятность и полную вероятность?