Устойчивость градиентов, активации, skip connections и инициализация

Ответьте как на собеседовании

Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.