什么是深度学习?
- 定义：深度学习是一种有着多个层次的表征学习（representation-learning）方式
- 通过简单但非线性的模块自动地将每个层次的特征转变为更高级抽象的表征形象
- 主要通过神经网络实现
深度神经网络（DNN）
- 具有许多隐藏层的多层感知机
训练深度网络的难点
- 缺乏大数据
  - 现在有很多大数据集
- 缺乏计算资源
  - 现在有GPU和HPC
- 容易进入局部最小值
  - 现在可以使用与训练技术和各种优化算法
- 梯度消失
  - 现在可以使用ReLU，批标准化，残差网络等方法避免梯度消失
- 正则化
  - 现在可以使用dropout方法
由大数据时代到新的AI时代
- 许多先进的大数据分布式数据处理系统被发明
  - MapReduce，BigTable，Hadoop，Spark，Ray等
- 公司有意识地收集、存储和规范化数据，并进行数据挖掘
  - 谷歌、亚马逊、Facebook、百度、阿里巴巴、头条等
  - 高校、餐厅、交通局、医院等
- 有越来越多的大数据专家和技术人员
- 出现了收集和清理大数据的更好机制
  - 众包平台比如Amazon Mechanism Turk， CloudFlower等
图像数据：ImageNet
文本数据集：Wikipedia
行为数据集：Criteo
通过GPU计算
- 神经网络通过张量计算
- GPU快是因为对于矩阵乘法和卷积操作非常有效
- “CPU优化延迟，而GPU优化带宽”

Provide feedback

Saved searches