Интуиция Adam, momentum и RMSProp

Ответьте как на собеседовании

Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.