Банк вопросов из реальных собеседований

Как работает Distributed Data Parallel training и почему overlap gradient all-reduce с backprop помогает ускорить обучение?

Компания генерирует текстовые user profiles из истории пользователя с помощью GPT-like модели. Как использовать такие профили в recommender system?

При обучении на сотнях тысяч токенов обычный/Flash Attention все равно не помещается в GPU. Что раздувает память и какие классы решений есть?

How would you train the ranker for real-estate search, choose negatives, and blend paid monetized listings without destroying relevance?

How would you use векторный поиск, user clustering and domain-specific text/image embeddings to improve a social-feed recommender?

How would you train a two-tower or CLIP-like text-image recommender using user-post interactions?

How would you build and validate a training dataset for extracting transaction fields from many bank-statement formats with limited human labeling?

Какие проблемы есть у in-batch negatives и как обучать embeddings объявлений, если пользовательских действий еще нет?

Каталог содержит много цветов и текстовых описаний, а пользователи ищут по фото. Как извлекать и использовать цветовые атрибуты, если словарь не полностью закрыт?

Что такое self-distillation и зачем модель учить на собственных предсказаниях? Как устроен teacher-student подход в DINO?

Есть много неразмеченных driving/log sequences и мало labels для редких событий. Какие self-supervised подходы можно использовать до supervised fine-tuning?

Почему UCB может быть плохой идеей при 1000 actions и горизонте 2000 или 20 шагов? Что делать вместо этого?

Большая VLM неплохо распознает блюда, если дать ей фото и меню, но отвечает десятки секунд. Как использовать такую модель в продукте с жестким latency?

Есть много фотографий ресторана и фиксированные категории еды. Как выбрать наиболее подходящее фото для категории в поисковой выдаче?

При autoregressive generation модель генерирует токены по одному. Что такое KV cache и как он ускоряет inference?

На странице конкретного автомобиля все пользователи видят одинаковые item-to-item рекомендации. Как добавить персонализацию, сохранив связь с текущим item и низкую latency?

Есть числовые, категориальные и поведенческие признаки пользователя и товара. Как превратить их во вход трансформера?

Пользователь пишет свободный текстовый запрос по недвижимости, в котором могут быть частые атрибуты и редкие бытовые детали. Как превратить такой запрос в кандидатов через структурированные атрибуты, полнотекстовый поиск и векторный поиск?

На какие сущности уходит GPU memory при обучении LLM, и почему KV cache обычно используют на inference, а не на training?

Пользователь отправляет картинку и короткий текстовый запрос. Как переписать это в поисковый запрос, который лучше работает с существующим поиском?

Модель на временном ряде показывает хороший offline score, но в реальности не работает. Какие причины проверить первыми?

На ревью notebook для временного ряда нужно найти leakage. Что проверять в feature generation и split?

Токенизация и BERT-style разметка против autoregressive rewriting

Спроектируйте систему, которая ищет в интернете потенциальные нарушения бренда и фильтрует массу нерелевантных результатов для 1000+ клиентов.