深度学习基础课:卷积层的后向传播推导 | 杨元超的世界

大家好~本课程为“深度学习基础班”的线上课程,带领同学从0开始学习全连接和卷积神经网络,进行数学推导,并且实现可以运行的Demo程序

线上课程资料:

本节课录像回放1

本节课录像回放2

本节课录像回放3

加QQ群,获得ppt等资料,与群主交流讨论:106047770

本系列文章为线上课程的复盘,每上完一节课就会同步发布对应的文章

本课程系列文章可进入索引查看:

深度学习基础课系列文章索引

目录

回顾相关课程内容

image

答:先计算输出层的误差项,然后反向依次计算每层的误差项直到与输入层相连的层,最后根据每层的误差项和输入得到每层的梯度

答:(\delta_k=\frac{dE}{dnet_k})

image

为什么要学习本课

主问题:如何推导卷积层的后向传播?

答:

1.已知下一层计算的误差项,反向依次计算这一层的误差项

2.计算这一层中每个权重值的梯度

答:步骤跟隐藏层是一样的,但是每个步骤的计算方法都不一样,这是因为:

“局部连接”使得第一步误差项的计算方法不一样;

“权值共享”则使得第二步变为计算Filter中的每个权重值的梯度;

主问题:如何反向计算误差项?

image

[\delta_{i,j}^{l-1}=? \ \delta_{i,j}^{l-1}表示第l-1层第i行第j列的误差项 ]

答:

[\begin{aligned} \delta_{i,j}^{l-1} &= \frac{dE}{dnet_{i,j}^{l-1}} \ &= \frac{dE}{da_{i,j}^{l-1}}\frac{da_{i,j}^{l-1}}{dnet_{i,j}^{l-1}}\

\end{aligned} ]

[a_{i,j}^{l-1}表示第l-1层第i行第j列神经元的输出 \ net_{i,j}^{l-1}表示第l-1层第i行第j列神经元的加权输入 \ ]

- 如何求(\frac{dE}{da_{i,j}^{l-1}})?

我们先来看几个特例,然后从中总结出一般性的规律:

计算(\frac{dE}{da_{1,1}^{l-1}})?

答:

( 因为a_{1,1}^{l-1}只与net_{1,1}^l有关,且net_{1,1}^l = w_{1,1}a_{1,1}^{l-1} + w_{1,2}a_{1,2}^{l-1} + w_{2,1}a_{2,1}^{l-1} + w_{2,2}a_{2,2}^{l-1} + w_b \ 所以\frac{dE}{da_{1,1}^{l-1}}=\frac{dE}{dnet_{1,1}^{l}}\frac{dnet_{1,1}^l}{da_{1,1}^{l-1}} = \delta_{1,1}^l w_{1,1} )

答:( 因为a_{1,2}^{l-1}与net_{1,1}^l, net_{1,2}^l有关,且\ net_{1,1}^l = w_{1,1}a_{1,1}^{l-1} + w_{1,2}a_{1,2}^{l-1} + w_{2,1}a_{2,1}^{l-1} + w_{2,2}a_{2,2}^{l-1} + w_b \ net_{1,2}^l = w_{1,1}a_{1,2}^{l-1} + w_{1,2}a_{1,3}^{l-1} + w_{2,1}a_{2,2}^{l-1} + w_{2,2}a_{2,3}^{l-1} + w_b \ 所以\frac{dE}{da_{1,2}^{l-1}}=\frac{dE}{dnet_{1,1}^{l}}\frac{dnet_{1,1}^l}{da_{1,2}^{l-1}} + \frac{dE}{dnet_{1,2}^{l}}\frac{dnet_{1,2}^l}{da_{1,2}^{l-1}} \ = \delta_{1,1}^l w_{1,2} + \delta_{1,2}^l w_{1,1} )

答:( 不难发现,计算\frac{dE}{da_{i,j}^{l-1}},相当于把第l层误差项的周围补一圈0, 再与180度翻转后的filter进行互相关操作,就能得到想要结果,如下图所示: )

image

计算公式是什么?

答:

( \frac{dE}{da^{l-1}} = cross(padding(\delta^l), rotate180(W)) \ )

- 如何求(\frac{da_{i,j}^{l-1}}{dnet_{i,j}^{l-1}}=?)

答:

[\because a_{i,j}^{l-1} = f(net_{i,j}^{l-1}) \

\therefore\frac{da_{i,j}^{l-1}}{dnet_{i,j}^{l-1}}= f'(net_{i,j}^{l-1}) ]

[\begin{aligned} \delta^{l-1} &= \frac{dE}{dnet^{l-1}} \ &= \frac{dE}{da^{l-1}}\frac{da^{l-1}}{dnet^{l-1}} \ &= cross(padding(\delta^l), rotate180(W)) \circ f'(net^{l-1}) \ \end{aligned} ]

[其中:\ \delta^{l-1}, \delta^l, W, net^{l-1}都是矩阵\ 符号\circ为element , wise , product,即将矩阵中每个对应元素相乘 ]

image

如何将其统一为步长为1的情况?

答:我们可以看出,因为步长为2,得到的feature map跳过了步长为1时相应的部分。因此,当我们反向计算误差项时,我们可以对步长为S的(\delta^l)相应的位置进行补0,将其『还原』成步长为1时的(\delta^l)

image

答:影响了第l层的所有结点,包括第l层的d1,d2

答:(= 第l层的d1的误差项与第一个Filter反向计算出的第l-1层的误差项 + 第l层的d2的误差项与第二个Filter反向计算出的第l-1层的误差项)

答:

[\begin{aligned} \delta_d^{l-1} &= \sum_{n=0}^{N-1} cross(padding(\delta_n^l), rotate180(W_{d, n})) \circ f'(net^{l-1}) \ \end{aligned} ]

[其中:\ d为深度序号,即第d层\ n为Filter的序号,即第n个Filter\ ]

结学

任务:实现反向计算误差项

答:待实现的函数为ConvLayer->bpDeltaMap函数,实现后的函数为:ConvLayer->bpDeltaMap函数

主问题:如何计算Filter每个权重值的梯度?

image

[如上图所示,a_{i,j}^{l-1} 是第l-1层的输出,W_{i,j}是第l层filter的权重,\delta_{i,j}^{l} 是第l层的误差项。我们的任务是计算W_{i,j}的梯度,即\frac{dE}{dw_{i,j}}\ 为了计算偏导数,我们需要考察权重W_{i,j}对E的影响:\ 权重项W_{i,j}通过影响net_{i,j}^l的值,进而影响E \ 我们仍然通过几个具体的例子来看权重项W_{i,j}对net_{i,j}^l的影响,然后再从中总结出规律。 ]

(w_{1,1}对哪几个net_{i,j}^l有影响?)

答:

[net_{1,1}^l = w_{1,1}a_{1,1}^{l-1} + w_{1,2}a_{1,2}^{l-1} + w_{2,1}a_{2,1}^{l-1} + w_{2,2}a_{2,2}^{l-1} + w_b \ net_{1,2}^l = w_{1,1}a_{1,2}^{l-1} + w_{1,2}a_{1,3}^{l-1} + w_{2,1}a_{2,2}^{l-1} + w_{2,2}a_{2,3}^{l-1} + w_b \ net_{2,1}^l = w_{1,1}a_{2,1}^{l-1} + w_{1,2}a_{2,2}^{l-1} + w_{2,1}a_{3,1}^{l-1} + w_{2,2}a_{3,2}^{l-1} + w_b \ net_{2,2}^l = w_{1,1}a_{2,2}^{l-1} + w_{1,2}a_{2,3}^{l-1} + w_{2,1}a_{3,2}^{l-1} + w_{2,2}a_{3,3}^{l-1} + w_b \ ]

[从上面的公式看出,由于权值共享,权值W1,1对所有的net_{i,j}^l有影响\ 因为E是所有所有的net_{i,j}^l的函数,而所有的net_{i,j}^l又都是w_{1,1}的函数\ 所以根据全导数公式,计算\frac{dE}{dw_{1,1}}是要把每个偏导数都加起来:\ ]

[\begin{aligned}

\frac{dE}{dw_{1,1}} &= \frac{dE}{dnet_{1,1}^l}\frac{{dnet_{1,1}^l}}{dw_{1,1}} + \frac{dE}{dnet_{1,2}^l}\frac{{dnet_{1,2}^l}}{dw_{1,1}} + \frac{dE}{dnet_{2,1}^l}\frac{{dnet_{2,1}^l}}{dw_{1,1}} + \frac{dE}{dnet_{2,2}^l}\frac{{dnet_{2,2}^l}}{dw_{1,1}} \ &= \delta_{1,1}^l a_{1,1}^{l-1} + \delta_{1,2}^l a_{1,2}^{l-1} + \delta_{2,1}^l a_{2,1}^{l-1} + \delta_{2,2}^l a_{2,2}^{l-1}

\end{aligned}

]

答:

[\begin{aligned}

\frac{dE}{dw_{1,2}} &= \delta_{1,1}^l a_{1,2}^{l-1} + \delta_{1,2}^l a_{1,3}^{l-1} + \delta_{2,1}^l a_{2,3}^{l-1} + \delta_{2,2}^l a_{2,3}^{l-1}

\end{aligned}

]

答:

[\frac{dE}{dw_{i,j}} = \sum_m \sum_n \delta_{m,n}^l a_{i+m, j+n}^{l-1} ]

也就是用误差项作为卷积核,在input上进行互相关操作,如下图所示:

image

答:

[\begin{aligned}

\frac{dE}{dw_b} &= \frac{dE}{dnet_{1,1}^l}\frac{dnet_{1,1}^l}{w_b} + \frac{dE}{dnet_{1,2}^l}\frac{dnet_{1,2}^l}{w_b} + \frac{dE}{dnet_{2,1}^l}\frac{dnet_{2,1}^l}{w_b} + \frac{dE}{dnet_{2,2}^l}\frac{dnet_{2,2}^l}{w_b} \ &= \delta_{1,1}^l + \delta_{1,2}^l + \delta_{2,1}^l + \delta_{2,2}^l \ &= \sum_i \sum_j \delta_{i,j}^l

\end{aligned} ]

[ 也就是偏置项的梯度就是所有误差项之和 ]

image

答:对于步长为S的卷积层,处理方法与传递误差项时一样: 通过对(\delta^l)补0,将其『还原』成步长为1的情况

结学

任务:实现计算Filter每个权重值的梯度

答:待实现的代码为:ConvLayer_compute_gradient,实现后的代码为:ConvLayer_compute_gradient_answer, Filter_answer

总结

参考资料

扩展阅读

有详细的数学推导(比如本课程中通过找规律得到的公式,在该文中有数学推导)