Проектирование ML-системСредняя
Метрики и thresholds для phishing warningsКак выбрать thresholds для предупреждения о phishing и какие метрики мониторить в production?
Мониторинг и надёжность
T-Bank
Назад к тренажеруОткрыть в общем банке
Банк вопросов из реальных собеседований
Направления, темы и вопросы из записей интервью. Фильтры ниже сохраняются в ссылке.
Все вопросы
673 вопроса из реальных интервью
Темы
Сложность
Компания
Язык
ВопросКомпанияИсточникДействие
Проектирование ML-системСредняя
Метрики маркетплейс-поискаПроектируем ML для поиска на маркетплейсе. Какие бизнес, online и offline метрики выбрать?
Вывод модели и архитектура
Uzum
Проектирование ML-системСредняя
Мониторинг drift данных и реакция с переобучениемМониторинг drift данных и реакция с переобучением
Данные и признакиМониторинг и надёжность
QIC
Проектирование ML-системСредняя
На какие классы делятся модели рекомендацийРасскажи, какие классы моделей есть в рекомендательных системах и где они обычно применяются.
Wildberries
Проектирование ML-системСредняя
Онлайн и офлайн рекомендации при ограничениях по задержкеКакие подходы к рекомендациям можно использовать и как выбирать между заранее посчитанными результатами и онлайн-инференсом, если важны задержка, RPS и качество?
Постановка задачиДанные и признакиВывод модели и архитектура
GamerAM
Проектирование ML-системСредняя
Оптимизация стоимости ASR и LLM-инференса для звонковОптимизация стоимости ASR и LLM-инференса для звонков
Вывод модели и архитектураRAG и LLM-системы
Chinor
Проектирование ML-системСредняя
Оптимизация цены по gridЕсть response-модель для разных вариантов доставки. Как выбрать итоговую цену или минимальную сумму заказа?
Мониторинг и надёжность
Dodo
Проектирование ML-системСредняя
От модели до ML-микросервисаЧто должен сделать ML-инженер, чтобы довести модель до production-сервиса: интерфейс, артефакт, Docker, мониторинг и обновления?
Вывод модели и архитектураМониторинг и надёжность
Dubai Tech
Проектирование ML-системСредняя
Ответственность за полный цикл деплоя моделиОтветственность за полный цикл деплоя модели
Мониторинг и надёжность
QIC
Проектирование ML-системСредняя
Отладка разрыва между офлайн-оценкой и качеством в продуктеОтладка разрыва между офлайн-оценкой и качеством в продукте
Вывод модели и архитектураМониторинг и надёжность
Constructor
Проектирование ML-системСредняя
Офлайн-метрики рекомендаций: recall@K, precision@K, coverage и NDCGСравните recall@K, precision@K, coverage и NDCG для candidate generation и ранжирования. Как эти метрики ведут себя при изменении K?
RAG и LLM-системы
T-Bank
Проектирование ML-системСредняя
Пайплайн OCR для вывесокНа фото есть вывеска организации. Как построить pipeline, который извлекает текст и использует его в продукте?
Данные и признакиВывод модели и архитектура
2GIS
Проектирование ML-системСредняя
Поиск срезов, где LTV-модель ошибаетсяПоиск срезов, где LTV-модель ошибается
RAG и LLM-системы
Adapty
Проектирование ML-системСредняя
Постановка cart recommendations при масштабе каталогаНужно сделать блок рекомендаций в корзине для 10 млн пользователей и 100 тыс. товаров. Как сформулировать цель, ограничения и MVP?
Постановка задачи
GRII RED
Проектирование ML-системСредняя
Постановка задачи динамической стоимости доставкиВ ML System Design кейсе про доставку нужно спроектировать персонализацию минимальной суммы заказа или платной доставки ниже порога. Как задать цель, границы и базовый план системы?
Постановка задачи
Dodo
Проектирование ML-системСредняя
Построение и обновление HNSW/Qdrant пайплайна векторного поискаПостроение и обновление HNSW/Qdrant пайплайна векторного поиска
RAG и LLM-системы
Constructor
Проектирование ML-системСредняя
Почему acceptance ratio может быть высокимЗа счет чего speculative decoding сохраняет высокий acceptance ratio при нескольких draft tokens?
Вывод модели и архитектураRAG и LLM-системы
Huawei
Проектирование ML-системСредняя
Почему годовой guidance нельзя наивно усреднятьКомпания дала годовой guidance роста добычи. Почему опасно равномерно размазать его по кварталам?
Данные и признаки
Mining / Commodities
Проектирование ML-системСредняя
Почему начинать поиск по статьям с BM25 baselineНужно сделать поиск/подсказки по базе статей или банковских ответов. Почему разумно начать с BM25/TF-IDF, а не сразу с embeddings/RAG?
RAG и LLM-системы
AgeCode
Проектирование ML-системСредняя
Прогнозирование временных рядов: постановка, baseline и валидацияНужно прогнозировать retention, revenue или LTV во времени. Как поставить задачу, выбрать горизонт и гранулярность, построить baseline и провести корректную временную валидацию?
Постановка задачи
Almus
Проектирование ML-системСредняя
Разбор пользовательского и операционного сценарий до моделиПочему в кейсе доставки стоит сначала разложить путь пользователя и операционный процесс заказа, а уже потом выбирать модель?
Данные и признаки
Dodo
Проектирование ML-системСредняя
Роутинг звонков, отсеивание отказов и метрикиРоутинг звонков, отсеивание отказов и метрики
RAG и LLM-системы
Chinor
Проектирование ML-системСредняя
Связывание событий из нескольких документовОдин факт о руднике встречается в годовом отчете, презентации и call transcript. Как объединить эти источники в один forecasting state?
RAG и LLM-системы
Mining / Commodities
Проектирование ML-системСредняя
Связь business metrics и offline metrics моделиКак перейти от revenue, seller success и buyer value в marketplace к offline-метрикам pricing/recommendation модели?
OLX