Банк вопросов из реальных собеседований

Есть генератор кандидатов и ранкер. Какие offline и online метрики смотреть для каждого этапа?

Модель получила MSE на тестовом периоде. Как понять, хороший это результат или нет?

Интервьюер спрашивает: какие метрики отслеживали и как понимали, что внедренное ML-решение действительно приносит пользу?

Две модели имеют похожие Precision@k и Recall@k, но одна приносит больше денег, потому что рекомендует более дорогие релевантные товары. Как адаптировать offline-метрику?

Есть датасет с N0 отрицательными и N1 положительными примерами. Классификатор всегда выдает одну вероятность p. Какое p минимизирует binary logloss?

Какими offline и product metrics оценивать модель, которая отправляет подозрительные объявления на модерацию?

Какие offline и online метрики считать для recommendation-системы с визуальными и текстовыми признаками?

Метрики качества для восстановления пунктуации и капитализации

Метрики классификации, ties в ROC-AUC и F1

Какие метрики смотреть для рекомендательной системы треков?

Какие метрики использовать для оценки ранжирования в рекомендациях или поиске?

Как понять, что пользователям нравится контент в новостной ленте? Какие данные мониторить и какие смещения могут искажать эти метрики?

Метрики фрод-классификатора при асимметричных ошибках

Обучение со смешанной точностью, FP16/BF16 и память

В A/B-тесте сравнивают конверсию контрольной и экспериментальной групп. От чего зависит минимальный размер выборки, необходимый для обнаружения статистически значимого эффекта?

Как построить отчетность вокруг LLM-агента, чтобы понимать качество, пользу, ошибки и стоимость?

Офлайн-оценка дополняющих fashion-рекомендаций

Какими свойствами должны обладать embeddings для поиска, рекомендаций или сопоставления объектов?

Как учитывать сезонность в поиске и как запускать новую модель в online-эксперимент?

Теорема Байеса для болезни 1% и теста 99%

Заболевание встречается у 1% людей, а диагностический тест ошибается в 5% случаев. Если результат положительный, как посчитать вероятность того, что человек действительно болен, и где чаще всего ошибаются?

Есть 1000 монет, одна из них с орлом на обеих сторонах, остальные честные. Выбрали монету случайно и получили 10 орлов подряд. Какова вероятность, что выбрана фальшивая монета?

Как связаны центральная предельная теорема, дизайн A/B-теста и MDE?

Как объяснить p-value без ошибки “вероятность, что нулевая гипотеза верна”?