反向传播算法
目录
Chain rule
SRE实战 互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。
Multi-output Perceptron
Multi-Layer Perceptron
- 对于多隐藏层结构的神经网络可以把隐藏层的节点看成输出层的节点
- For an output layer node \(k\in{K}\)
\[ \frac{\partial{E}}{\partial{W_{jk}}}=O_j\delta_k,\,\delta_k=O_k(1-O_k)(O_k-t_k) \]
- For a hidden layer node \(j\in{J}\)
\[ \frac{\partial{E}}{\partial{W_{ij}}}=O_i\delta_j,\,\delta_j=O_j(1-O_j)\sum_{k\in{K}}\delta_kW_{jk} \]
- 其中\(\delta_k\)可以看做是\(O_j\)的信息；\(\delta_j\)可以看做是\(O_i\)的信息
- 并且下一层的隐藏层偏微分的更新都基于上一隐藏层的偏微分
更多精彩
