Проектирование ML-системСредняя
Какая архитектура эмбеддингов была в RAGКакую архитектуру эмбеддингов вы построили для RAG: обычный retrieval pipeline или что-то сложнее?
Вывод модели и архитектураRAG и LLM-системы
Satel Generation
Назад к тренажеруОткрыть в общем банке
Банк вопросов из реальных собеседований
Направления, темы и вопросы из записей интервью. Фильтры ниже сохраняются в ссылке.
Проектирование ML-систем
258 вопросов из реальных интервью
Темы
Сложность
Компания
Язык
ВопросКомпанияИсточникДействие
Проектирование ML-системСредняя
Какие offline и online метрики у moderation-моделиМодель модерации работает в production. Какие метрики смотреть offline, online и после запуска, чтобы контролировать качество и нагрузку на ручную проверку?
Вывод модели и архитектураМониторинг и надёжность
Satel Generation
Проектирование ML-системСредняя
Какие аномалии искать в биржевом датасетеПосле базовых latency-вопросов интервьюер спрашивает: какие еще аномалии можно заметить в market-data файле?
Данные и признакиВывод модели и архитектураМониторинг и надёжность
Wunderfund
Проектирование ML-системСредняя
Какие данные нужны для подбора поставщиков и что меняет масштабЕсть исторические сделки, логи платформы, больше миллиона поставщиков и около 100 компаний-заказчиков. Какие данные использовать и как масштаб влияет на архитектуру?
Данные и признакиВывод модели и архитектура
Fairmarkit
Проектирование ML-системСредняя
Какие признаки использовать для модели цены объявленияНужно построить модель для оценки или подсказки цены second-hand объявления в marketplace. Какие признаки и baseline стоит предложить?
Данные и признаки
OLX
Проектирование ML-системСредняя
Какие сигналы извлекать из PDF-отчетовКакие факты из PDF-отчетов компаний полезны для прогноза добычи, и как отличать их от шумного текста?
Данные и признакиRAG и LLM-системы
Mining / Commodities
Проектирование ML-системСредняя
Какие события логировать для обучения rankerПосле запуска MVP какие события и признаки нужно собирать, чтобы обучить модель ранжирования user-video?
Данные и признаки
Самокат
Проектирование ML-системСредняя
Какие стандартные проблемы есть в RecSysКакие типовые проблемы рекомендательных систем ты бы назвал и как их можно измерять или снижать?
Wildberries
Проектирование ML-системСредняя
Какие техники prompt engineering использовать в productionКакие практические техники prompt engineering помогают получать стабильный и проверяемый ответ от LLM?
RAG и LLM-системы
FlameTree
Проектирование ML-системСредняя
Категории и признаки каталога для cart RecSysКакие catalog features нужны для рекомендаций в корзине и какие проблемы бывают с категориями товаров?
Данные и признаки
GRII RED
Проектирование ML-системСредняя
Когда нужен batch ETL, а когда streamingКогда стоит использовать классический batch ETL, а когда streaming для рекомендаций, аналитики или ML-фичей?
Данные и признакиВывод модели и архитектура
GamerAM
Проектирование ML-системСредняя
Когда нужен fine-tuning, а когда хватает prompt engineeringКак решить, дообучать LLM или ограничиться prompt engineering/RAG, и что меняется при LoRA adapters?
RAG и LLM-системы
FlameTree
Проектирование ML-системСредняя
Когда нужен hybrid retrievalВ поиске есть embeddings и полнотекстовый индекс. Когда использовать оба подхода и как их объединять?
RAG и LLM-системы
LifePay
Проектирование ML-системСредняя
Когда нужен векторный поиск, а когда full-textВ продукте есть поиск по документам/артефактам. Когда использовать full-text, когда векторный поиск, и зачем может понадобиться hybrid retrieval?
RAG и LLM-системы
Unimatch
Проектирование ML-системСредняя
Метрики recommender в marketplaceКакие метрики использовать для recommender в marketplace, где клики, контакты, сделки и seller exposure имеют разные цели?
OLX
Проектирование ML-системСредняя
Метрики для рекомендаций в корзинеКакие offline, online и guardrail-метрики подходят для блока рекомендаций в корзине, если клики не равны покупке?
Вывод модели и архитектура
GRII RED
Проектирование ML-системСредняя
Метрики и A/B для поиска/RAGКак оценивать качество поиска или RAG-системы offline и online?
Вывод модели и архитектураRAG и LLM-системы
LifePay
Проектирование ML-системСредняя
Метрики и thresholds для phishing warningsКак выбрать thresholds для предупреждения о phishing и какие метрики мониторить в production?
Мониторинг и надёжность
T-Bank
Проектирование ML-системСредняя
Метрики маркетплейс-поискаПроектируем ML для поиска на маркетплейсе. Какие бизнес, online и offline метрики выбрать?
Вывод модели и архитектура
Uzum
Проектирование ML-системСредняя
Мониторинг drift данных и реакция с переобучениемМониторинг drift данных и реакция с переобучением
Данные и признакиМониторинг и надёжность
QIC
Проектирование ML-системСредняя
На какие классы делятся модели рекомендацийРасскажи, какие классы моделей есть в рекомендательных системах и где они обычно применяются.
Wildberries
Проектирование ML-системСредняя
Онлайн и офлайн рекомендации при ограничениях по задержкеКакие подходы к рекомендациям можно использовать и как выбирать между заранее посчитанными результатами и онлайн-инференсом, если важны задержка, RPS и качество?
Постановка задачиДанные и признакиВывод модели и архитектура
GamerAM
Проектирование ML-системСредняя
Оптимизация стоимости ASR и LLM-инференса для звонковОптимизация стоимости ASR и LLM-инференса для звонков
Вывод модели и архитектураRAG и LLM-системы
Chinor
Проектирование ML-системСредняя
Оптимизация цены по gridЕсть response-модель для разных вариантов доставки. Как выбрать итоговую цену или минимальную сумму заказа?
Мониторинг и надёжность
Dodo