BatchNorm при обучении, инференсе и multi-GPU

Ответьте как на собеседовании

Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.