NLP и LLM

Задачи NLP, токенизация, предобработка текста, стемминг и лемматизация.

Bag of Words, TF-IDF, n-граммы — как превратить текст в числа.

Word2Vec, GloVe, FastText — как слова становятся векторами.

Naive Bayes, логистическая регрессия, CNN для текста — практические задачи.

Рекуррентные сети, затухание градиентов, LSTM/GRU, BiLSTM.

N-грамм LM, нейросетевые LM, перплексия, стратегии генерации.

Encoder-decoder, механизм внимания, beam search, BPE-токенизация.

Self-attention, multi-head attention, positional encoding — архитектура, изменившая NLP.

Masked LM, NSP, файнтюнинг, варианты: RoBERTa, ALBERT, DistilBERT.

GPT-1/2/3/4, scaling laws, emergent abilities, in-context learning.

Как устроены LLM изнутри: decoder-only архитектура, KV-cache для быстрого инференса, квантизация (GGUF, GPTQ, AWQ) для запуска на consumer GPU. Фокус на практике: запустить, оценить, выбрать модель.

LoRA, QLoRA, PEFT, инструкционное обучение, RLHF/DPO.

Zero/few-shot, chain-of-thought, structured output, system prompts.

Бенчмарки, human eval, MMLU/HumanEval, оценка галлюцинаций, red-teaming.

Как обучают LLM: pre-training → mid-training → SFT → RLHF. Общая картина процесса.

Supervised Fine-Tuning: chat templates, instruction datasets, sequence packing, distillation.

Alignment через RLHF, DPO, RLVR. Как модель учится быть полезной и безопасной.

Chinchilla, overtraining, BPE, vocab size trade-offs, LR schedules.

GQA/MLA, SwiGLU, gated attention, embedding sharing, RMSNorm — как устроены frontier модели.

Sparse-модели: routing, load balancing, shared experts. DeepSeek-V3, Kimi K2.

RoPE, YaRN, RNoPE, document masking. Как модели масштабируются от 4K до 128K+ токенов.

Logit softcapping, z-loss, AdamW, Muon, MuonClip, LR schedules, batch size scaling.

GRPO, RLVR, KTO/ORPO/APO, on-policy distillation, DeepSeek-R1 pipeline.

Data Parallelism, ZeRO, FSDP, Tensor/Pipeline Parallelism, 3D Parallelism. Как обучают модели на сотнях GPU.

Retrieval-Augmented Generation: чанкинг, эмбеддинги, реранкинг, гибридный поиск.

FAISS, Qdrant, Weaviate, Milvus — индексы HNSW/IVF, выбор под задачу.

Метрики качества RAG: faithfulness, context precision/recall, answer relevancy. Фреймворк RAGAS для автоматической оценки.

ReAct, function calling, LangChain/LlamaIndex/CrewAI, оркестрация, memory.