Distributed Training
~35 мин
FSDP, DeepSpeed ZeRO and Sharding
Why optimizer states dominate memory, how FSDP/ZeRO shard params, gradients and optimizer state, and when sharding pays off.
Что изучаем
Why optimizer states dominate memory, how FSDP/ZeRO shard params, gradients and optimizer state, and when sharding pays off.
Что закрываем на этапе
- Понять ключевые ограничения архитектуры или пайплайна для данного узла.
- Понимать диагностические сигналы в проде и во время разработки.
- Знать, где обычно ломается воспроизводимость и как проверять гипотезы.
Как проработать на собеседовании
Готовься не “перечислять термины”, а объяснять причинно-следственные связи между ограничениями системы, выбором решений и компромиссами по латентности, стоимости и надежности.