深度学习基础课:用全连接层识别手写数字(上) | 杨元超的世界

大家好~我开设了“深度学习基础班”的线上课程,带领同学从0开始学习全连接和卷积神经网络,进行数学推导,并且实现可以运行的Demo程序

线上课程资料:

本节课录像回放

加QQ群,获得ppt等资料,与群主交流讨论:106047770

本系列文章为线上课程的复盘,每上完一节课就会同步发布对应的文章

本文为第五节课:“用全连接层识别手写数字(上)”的复盘文章

本课程系列文章可进入索引查看:

深度学习基础课系列文章索引

目录

为什么要学习本课

image

回顾相关课程内容

全连接层的网络结构是什么?

主问题:输入是什么?

答:手写数字图片的像素的亮度值

把整个手写数字图片作为输入数据会有什么问题?

答:

输出不确定;

单个样本的像素太多,造成输入层神经元过多,训练不容易收敛;

变化太多了(每个数字一变,整个样本就变了),训练不容易收敛;

答:拆分成每个数字一张图片:

image

主问题:输出是什么?

答:一个数字,范围为0-9

答:输出层输出10个数字,数字的范围为[0.0,1.0]

答:最大的数字的序号,即为输出的数字

主问题:网络结构是什么?

答:784

答:10

答:下图为一些估计公式,我们使用第一个公式来估计,取30

image

主问题:如何判断训练是否收敛?

答:判断loss是否接近0

损失函数需要改变吗?

image

答:需要

答:改变后的损失函数公式为: ( e=\frac{1}{n}\sum_{i=1}^n (\left\vert \overrightarrow{y_{真实}} - \overrightarrow{y_{输出}} \right\vert)^2 )

答:判断正确率

任务:实现训练

答:参考机器学习笔记:训练集、验证集和测试集区别

答:待实现的代码:ImplementTrain

实现后的代码:ImplementTrain_answer

答:没有收敛,正确率一直卡在10%上不去