Назад к тренажеру

Банк вопросов из реальных собеседований

Направления, темы и вопросы из записей интервью. Фильтры ниже сохраняются в ссылке.

Проектирование ML-систем

258 вопросов из реальных интервью

Открыть в общем банке
Темы
Сложность
Компания
Язык
Проектирование ML-системСложная
Как встроить LLM-агента в продуктовый pipeline

Нужно добавить LLM-агента в существующий продуктовый pipeline. Как спроектировать границы агента, tools, контекст, проверки и мониторинг?

RAG и LLM-системы
PulsePoint
Проектирование ML-системСложная
Как делать train/test split и offline validation для marketplace модели

Для marketplace pricing/recommendation модели нужно построить offline validation. Как выбрать строку датасета, train/test split и метрики, чтобы не получить красивую, но бесполезную оценку?

Данные и признаки
OLX
Проектирование ML-системСложная
Как деплоить audio-event модель на устройство

Модель распознавания аудио-событий должна работать на колонке/камере с CPU и ограничениями по latency, privacy и батарее. Как это спроектировать?

Постановка задачиВывод модели и архитектура
Sber / GigaChat
Проектирование ML-системСложная
Как добавить content embeddings в DSSM/two-tower модель

Есть item2vec/DSSM-подобная модель, обученная на сессиях кликов: anchor, positive рядом в сессии и negative. У товара есть текстовый embedding из LLM. Как добавить content-информацию в архитектуру?

Данные и признакиВывод модели и архитектураRAG и LLM-системы
Wildberries
Проектирование ML-системСложная
Как добавить reranker и мониторить деградацию retrieval

После ANN retrieval нужно улучшить качество выдачи и понять, когда система деградирует. Как спроектировать reranker, evaluation и monitoring?

Мониторинг и надёжностьRAG и LLM-системы
Waymo
Проектирование ML-системСложная
Как использовать LLM для фичей в прогнозе производства

Есть прогноз производства по рудникам/активам. В отчетах компаний есть текст, планы роста, графики и будущие ожидания. Как использовать LLM, чтобы улучшить табличную модель, но не заменить ее полностью?

Постановка задачиДанные и признакиВывод модели и архитектура
Компания не указана
Проектирование ML-системСложная
Как получить пары текстовый запрос — дорожный сегмент

Для обучения retrieval нужны пары текстовый запрос и релевантный дорожный сегмент из последовательностей изображений. Где взять такие labels и как не утонуть в ручной разметке?

Данные и признакиRAG и LLM-системы
Waymo
Проектирование ML-системСложная
Как построить модель визуального сравнения объявлений авто

Есть база объявлений авто и якорное объявление. Нужно находить архивные объявления, где визуально другая машина: другой цвет, салон, колеса, кузов или ракурс. Как поставить задачу и обучить модель?

Данные и признакиRAG и LLM-системы
Wildberries
Проектирование ML-системСложная
Как превратить годовой guidance в квартальные фичи

В отчете сказано: производство вырастет на 20% за год, рост начнется во второй половине года. Модели нужен прогноз по кварталам. Что должна вернуть LLM-фича?

Данные и признакиRAG и LLM-системы
Компания не указана
Проектирование ML-системСложная
Как прогнозировать LTV для новых когорт без истории

Есть LTV/retention прогноз по когортам. Для старых когорт есть 7/30/180 дней истории, а для новых есть только install или trial. Как строить прогноз уже сегодня?

Постановка задачиДанные и признаки
Almus
Проектирование ML-системСложная
Как проектировать related articles и reranker

Помимо ответа на free-text вопрос нужно показывать related articles. Как их формировать: заранее или в зависимости от запроса, и где нужен reranker?

Вывод модели и архитектураRAG и LLM-системы
AgeCode
Проектирование ML-системСложная
Как работает KV cache и от чего зависит его память

Что такое KV cache, почему его можно переиспользовать при decode и от каких факторов зависит его объем?

Вывод модели и архитектураRAG и LLM-системы
Huawei
Проектирование ML-системСложная
Как работает speculative decoding и acceptance ratio

Интервьюер спрашивает: как можно держать высокий acceptance ratio при большом числе draft tokens в speculative decoding?

Вывод модели и архитектураRAG и LLM-системы
Huawei
Проектирование ML-системСложная
Как работать с деревьями категорий заказчиков

У каждого заказчика свое дерево категорий: названия могут быть нормальными словами, внутренними кодами или разной глубины. Как учитывать такие категории при подборе поставщиков?

Данные и признаки
Fairmarkit
Проектирование ML-системСложная
Как развернуть RAG: FastAPI, Qdrant, ranker и vLLM

В production RAG есть FastAPI, vector DB, ranker service, MLflow, Docker и self-hosted LLM. Как описать путь запроса и зоны ответственности сервисов?

Вывод модели и архитектураRAG и LLM-системы
Satel Generation
Проектирование ML-системСложная
Как собрать feature pipeline, batch scoring и мониторинг

Данные casino-продукта лежат в хранилище и приходят через очередь сообщений. Нужно регулярно обновлять признаки и скорить пользователей. Как спроектировать production pipeline?

Данные и признакиВывод модели и архитектураМониторинг и надёжность
MrBit
Проектирование ML-системСложная
Как сравнить два LLM для customer support automation

Есть реальный продуктовый use case: customer support automation. Нужно сравнить два LLM/agent variants и выбрать, какой запускать. Как спроектировать evaluation: данные, offline metrics, human/LLM judging, system metrics и online validation?

Данные и признакиВывод модели и архитектураRAG и LLM-системы
Parloa
Проектирование ML-системСложная
Как строить эмбеддинги поставщиков и чем опасна многошаговая агрегация

Поставщика можно представить через прошлые заявки, профиль и категории. Как построить представление поставщика и какие проблемы есть у averaging request embeddings?

Данные и признакиRAG и LLM-системы
Fairmarkit
Банк вопросов из реальных собеседований — ML Mentor