深度学习基础课:用全连接层识别手写数字(中) | 杨元超的世界

大家好~我开设了“深度学习基础班”的线上课程,带领同学从0开始学习全连接和卷积神经网络,进行数学推导,并且实现可以运行的Demo程序

线上课程资料:

本节课录像回放

加QQ群,获得ppt等资料,与群主交流讨论:106047770

本系列文章为线上课程的复盘,每上完一节课就会同步发布对应的文章

本文为第五节课:“用全连接层识别手写数字(中)”的复盘文章

本课程系列文章可进入索引查看:

深度学习基础课系列文章索引

目录

主问题:如何使训练收敛?

答:通过打印(log)来调试,打印一些重要的值

答:前向传播的输入输出;

后向传播的输入输出;

更新后的权重矩阵。

任务:找到未收敛的原因并修复

答:使用Log.res模块的log和printForDebug函数来打印,找到了下面的异常数据:

1.前向传播的输出中,隐藏层和输出层的输出向量的值都几乎为1。

进一步发现:它们的加权和都比较大,其中隐藏层的加权和基本上都是50几,输出层的加权和基本上都是10几。

2.后向传播的输出中,隐藏层和输出层的梯度都很小

答: 对于第1个异常数据,原因是隐藏层的输入向量的个数(784)和输出层的输入向量的个数(30)都很多,导致加权和过大,从而导致sigmoid激活函数的返回接近1

对于第2个异常数据,原因是:sigmoid激活函数的返回接近1->激活函数的导数接近0->梯度很小

另外因为损失函数变化了,所以在后向传播中计算输出层的误差项时, (\frac{dE}{dy_k})应该要修改。不过目前暂时不修改,因为跟修改前差别不大,所以影响不大。另外以后会再次修改损失函数,所以到时候再改

修复方案:

根据输入向量的个数来减小加权和,解决“sigmoid激活函数返回接近1”的问题;并且提高学习率,来减轻梯度过小的问题

答:待修复的代码为:ImplementTrain_answer,修复后的代码为:ImplementTrain_fix

答:现在正确率在50轮时能提高到60%左右,增加更多轮数则会提高到100%,所以收敛了

任务:重构调试代码

答:待修改的代码为:ImplementTrain_fix。增加了代码:DebugUtils,修改后的代码为ImplementTrain_fix_check

现在会检查减小加权和后,加权后是否<=7;以及检查隐藏层和输出层的梯度 乘以 学习率后 是否出现消失或者爆炸的情况(梯度消失或梯度爆炸)

答:通过了检查

答:我们检查梯度乘以学习率后的值,具体是通过自动化检查中梯度消失的值的个数(打印的次数)来判断该值变化的趋势:学习率为0.1时,该值呈逐渐减小的趋势,所以导致正确率一直维持不变(10%)左右;学习率为10.0时,该值呈现逐渐增大的趋势,所以导致正确率逐渐加快地增加(直到100%)

结学