几篇讲优化器的好文，mark一下

英文Optimizer overview

SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

http://ruder.io/optimizing-gradient-descent/index.html#adam

Optimization for Deep Learning 

http://ruder.io/deep-learning-optimization-2017/index.html

中文overview

https://www.jianshu.com/p/0acd30a23e4e

Adam讲解：

https://www.jianshu.com/p/aebcaf8af76e

多图汇总

https://blog.csdn.net/qsczse943062710/article/details/76763739

扫码关注我们
微信号：SRE实战
拒绝背锅 运筹帷幄