neural networks for machine learning 机器学习ML视频教程英国机器学习宗师级导师Hinton悉心讲解英文带字幕（74课）
课程学习心得（转载） 如何在神经网络中加入先验知识：就是通过设计网络结构来加入 - 网络的连接性
- 权重进行约束
- 激活函数的选择
也可以通过先验，来加入一些人工造的数据Hofman 93年的炼钢炉模型
Mcnemar检测 Dropout用来阻止同一层网络之间的合作作用，这些合作作用在拟合的时候是非常有效的，但是会有可能过拟合，如果用来测试的话，就会发现效果不是那么好 slashing across a ravine山涧跳，学习速率选太大的时候，会发生的情况用
min_batch算法来做的时候，要保证每个类别的样本尽量均衡
共轭梯度法，是用来优化，full batch梯度的计算过程的。 动态调整学习速率的方法：
一开始初始设置一个值，然后当error持续波动或者持续上升的时候，调低学习速率，当其持续下降且下降比较慢的时候，调高学习速率
调低学习速率的两个时机： - 如果误差率不再下降的话，判断误差不在下降用独立的valid数据集
- 当一轮批梯度下降进行结束的时候
权值的初始化要random，因为这是为了打破 symmetry，如果都初始化为同一个值的化，如果输入向量再一样，会导致后续的结果都相同，不能够学习到不同的特征。
四种加快SGD算法的方法： - 动量法momentum
- 对于每个参数采用独立的学习速率
- rms prop 【相当于批梯度版的R prop
- 利用曲线本身的信息
使用动量法的好处： - 跟之前相同部分得到加速
- 扰动部分得到阻尼
- 允许我们使用更大的学习速率
RNN难以训练的原因：
当有许多层的的神经网络的时候，会有梯度消失或者梯度爆炸的问题
因为反向传播的过程中，越靠前的layer，积累了之后所有层的乘积，所以这是一个非常不稳定的状态，尤其是用sigmoid函数的倒数是在(0,0.25)之间的数，所以会越乘越小，如果把权值初始为非常大的数，又会导致越乘越大。
有效训练RNN的方法： - LSTM
- Hessian Free Optimization，用更好优化函数
| 
发表于 2019-3-21 14:59
