1. 梯度裁剪:当梯度大于一定阈值的时候才对其裁剪

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

 深度学习中的基本概念 随笔

caffe的solver中设置

clip_gradients: 10 #float

2. 梯度爆炸:深度网络的反传过程中,是一个梯度权值连成的过程,这样如果因子值大于1,则随着层数增加乘积会越来越大

3. 梯度消失:当因子小于1时,乘积则会越来越小接近于0,使得无法更新网络参数

4. f-measure

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄