Основы машинного обучения

NumPy, pandas, matplotlib — основной стек для работы с данными.

Запросы, соединения таблиц и оконные функции — обязательная база для любого специалиста по данным.

Линейная алгебра, матстат, теория вероятностей — фундамент для понимания алгоритмов.

O(1), O(n), O(n²) — как оценивать скорость кода и оптимизировать алгоритмы. Частая тема на собеседованиях.

Precision, Recall, F1, ROC-AUC, PR-AUC — как оценивать качество моделей.

SMOTE, class weights, подбор порога, PR-AUC — как работать с дисбалансом классов.

Деревья, бустинг, линейные модели и кластеризация — основа многих прикладных решений.

Перцептрон, MLP, backpropagation, функции активации и потерь — как нейросети учатся.

Обзор семейств нейросетей — свёрточные, рекуррентные, трансформеры. Зачем каждое и где применяется.

SGD, Adam, LR schedulers, dropout, batch norm — как обучать нейросети эффективно.

Dataset, DataLoader, train step, checkpoints, inference — полный цикл обучения модели с кодом.

Target encoding, interaction features, datetime decomposition, binning — как из сырых данных создать признаки, которые реально улучшают модель. На Kaggle фичи решают больше, чем выбор алгоритма.

Cross-validation, гиперпараметры, bias-variance trade-off, Optuna.

Grid Search, Random Search, Bayesian Optimization (Optuna), early stopping, learning rate schedules.