27_陷入局部最小的解决方法_课程笔记.md

陷入局部最小的解决方法

1. 深度信念网络

   • 深度信念网络是的神经网络训练的起点已经在一个比较好的区域，接下来再做梯度学习能够得到比较好的效果

   • 预训练：寻找好的网络初始化

     • 使用神经网络的无监督学习

     • 基本思想：使用伸进网络恢复数据

     • 限制玻尔兹曼机

       • 定义：限制玻尔兹曼机（restricted Boltzmann machine， RBM）是一种可以通过输入数据集学习概率分布等 随机生成神经网络

       • 无向图模型

         • 限制：可见（隐藏）单元没有互相连接

         • 势能函数

   • 深度信念网络（DBN）：预训练是将2000维向量使用RBM压缩到30维，再使用30维向量恢复

   • 潜在因子分析（DBN和PCA比较）

2. Adam算法

   • 考虑例如动量的方法，冲过比较简单的局部最小值
   • Adam带动量的梯度算法
     • 定义：适应性矩估计（Adam：Adaptive Moment Estimation）
       • 存储过去时刻梯度平方的指数衰减平均值
       • 存储过去时刻梯度的指数衰减平均值，类似动量
   • Adam实验