深度学习基础课:使用交叉熵损失函数和Softmax激活函数(下) | 杨元超的世界

大家好~本课程为“深度学习基础班”的线上课程,带领同学从0开始学习全连接和卷积神经网络,进行数学推导,并且实现可以运行的Demo程序

线上课程资料:

本节课录像回放

加QQ群,获得ppt等资料,与群主交流讨论:106047770

本系列文章为线上课程的复盘,每上完一节课就会同步发布对应的文章

本课程系列文章可进入索引查看:

深度学习基础课系列文章索引

目录

主问题:如何加快多分类的训练速度?

答:多分类

答:不能

答:

[\begin{aligned} \frac{dE}{dw_{kj}} &=\delta_k a_j \ &= \frac{dE}{dy_k}\frac{df(net_k)}{dnet_k} a_j \ \end{aligned} ]

因为目前的交叉熵损失函数是在单分类下推导的。

而在多分类下,由于原有的激活函数不再适合,需要更换新的激活函数,导致上面公式中的(\frac{df(net_k)}{dnet_k})发生了变化,导致损失函数E也需要改变,

所以需要新的损失函数

答:不适用

我们现在用a表示激活函数的输出值

答: ( a_k \in [0.0, 1.0] 以及 \sum_{k=1}^n a_k= 1 )

答:(a_k = \frac{t_k}{\sum_{i} t_i} 且t_i(包括t_k) >0.0)

答: ( a_k = \frac{e^{net_k}}{\sum_{i=1}^n e^{net_i}} )

为什么(t_k)使用(e^k)这种函数呢?这可能是因为它大于0.0;并且由于是非线性的所以值的间隔拉的比较开,从而能适应更多的变化

答:满足

答:( \overrightarrow{loss} = \overrightarrow{a_{输出层}} - \overrightarrow{y} )

答:( \overrightarrow{\delta_{输出层}} =\overrightarrow{loss} = \overrightarrow{a_{输出层}} - \overrightarrow{y} )

答:为了简单,我们暂时不考虑误差项向量,而只考虑单个神经元的误差项。所以应该满足下面的公式:

( E = ?从而 \sum_{i=1}^n \frac{dE}{da_i} \frac{da_i}{dnet_k}=\delta_k =a_k - y_k )

(注意:因为每个a的计算都有所有的net参加,所以要使用全导数公式进行累加)

答:

(\because)

[\begin{aligned}

\frac{dE}{da_i} &= \frac{d- \sum_{j=1}^n y_j \ln a_j }{da_i} &= - \frac{y_i}{a_i}

\end{aligned} ]

(\therefore)

[\begin{aligned}

\delta_k &= \sum_{i=1}^n \frac{dE}{da_i} \frac{da_i}{dnet_k} \ &= - \sum_{i=1}^n \frac{y_i}{a_i} \frac{da_i}{dnet_k} \

\end{aligned} ]

因为只能有一个真实值为1,所以假设(y_j=1),其它(y_i=0),则

[\begin{aligned}

\delta_k &= - \frac{1}{a_j} \frac{da_j}{dnet_k} \

\end{aligned} ]

现在需要推导(\frac{da_j}{dnet_k}),推导过程如下:

因为(a_j)可以看作是(net_j)的复合函数:

[ a_j =\frac{e^{net_j}}{\sum_{m=1}^n e^{net_m}} = f(e^{net_j}, \sum_m e^{net_m})

\

]

所以:

[\frac{da_j}{dnet_k} = \frac{da_j}{de^{net_k}} \frac{de^{net_k}}{dnet_k} + \frac{da_j}{d\sum_m e^{net_m}} \frac{d\sum_m e^{net_m}}{dnet_k} \

]

现在分两种情况:

[\frac{da_j}{dnet_k} = \frac{da_j}{dnet_j}

\frac{da_j}{de^{net_j}} \frac{de^{net_j}}{dnet_j} + \frac{da_j}{d\sum_m e^{net_m}} \frac{d\sum_m e^{net_m}}{dnet_j} \ ]

(\because)

[

\begin{aligned}

\frac{da_j}{de^{net_j}} &= \frac{1}{\sum_j e^{net_j}} \

\frac{de^{net_j}}{dnet_j} &= e^{net_j}\

\frac{da_j}{d\sum_m e^{net_m}} &= - \frac{e^{net_j}}{(\sum_m e^{net_m})^2} \

\frac{d\sum_m e^{net_m}}{dnet_k} &= \frac{d\sum_m e^{net_m}}{de^{net_k}} \frac{de^{net_k}}{dnet_k} = e^{net_k} \

\end{aligned} ]

(\therefore)

[

\frac{da_j}{dnet_k} = \frac{da_j}{dnet_j} = a_j(1-a_j) ]

[\frac{da_j}{dnet_k} = \frac{da_j}{de^{net_k}} \frac{de^{net_k}}{dnet_k} + \frac{da_j}{d\sum_m e^{net_m}} \frac{d\sum_m e^{net_m}}{dnet_k} \ ]

(\because)

[

\begin{aligned}

\frac{da_j}{de^{net_k}} &= 0 \

\frac{da_j}{d\sum_m e^{net_m}} &= - \frac{e^{net_j}}{(\sum_m e^{net_m})^2} \

\frac{d\sum_m e^{net_m}}{dnet_k} &= e^{net_k} \

\end{aligned} ]

(\therefore)

[

\frac{da_j}{dnet_k} = -a_j a_k ]

经过上面的推导后,写成向量的形式就是:

[ \overrightarrow{\delta_{输出层}} = \begin{bmatrix}

= \begin{bmatrix} a_1 \ \vdots \ a_j - 1 \ \vdots \ a_n \ \end{bmatrix}

= \overrightarrow{a_{输出层}} - \overrightarrow{y} \

]

结学

任务: 识别手写数字使用交叉熵损失函数和softmax激活函数

答:待实现的代码为:NewCross_softmax,实现后的代码为:NewCross_softmax_answer

刚开始训练时,有什么警告?

答:如下图所示:有“输出层梯度过大”的警告

image

答:没有

任务:改进代码

答:image

因为输出层加权和没有做缩小处理,所以加权和比较大(范围为[10.0,15.0]左右)。

通过上图(softmax的图像)可知,该范围内的梯度很大,所以报“梯度爆炸”的警告

答:将输出层的学习率变小为0.1

答:变小为0.1后运行代码的结果如下图所示:

image

我们看到只需要四轮训练既达到95%的正确率

那么为什么在正确率到88%后会开始报输出层的一些梯度值过小的警告呢?这是因为此时loss小,所以梯度也小了

总结

参考资料

谢谢你~