05_机器学习基本思想_课程笔记.md

1. 机器学习的基本思想课程笔记

   1. 机器学习类别
      • 监督学习：给定数据和标签，预测相应的标签
      • 无监督学习：分析和利用隐式数据模式/结构，将所有的维度都堪称特征，建立数据的联合分布
      • 强化学习：在动态环境中，每次感知环境跟机器的状态，然后做出决策，根据环境的反馈，获得尽可能多的姜立志
   2. 机器学习的过程
      1. 原始数据
      2. 数据规范化后分为训练数据和测试数据
      3. 训练数据用来训练模型
      4. 测试数据用来评价模型
         基本假设：在训练和而是数据中存在着相同的模式（pattern）
   3. 监督学习
      • 给定带标签的训练数据集$D={(x_i,y_i)}{i=1,2...N}$，其中$x_i$为特征数据，$y_i$为其对应的标签，让机器学习一个从特征数据映射到标签的函数映射$y_i \simeq f\theta(x_i)$
      • 函数集${f_\theta(\cdot)}$被称为假设空间
      • 学习的过程即为参数$\theta$的更新
      • 如何更新参数使得预测结果接近真实的标签？
        • 学习目标
          • 使预测结果接近真实标签
          • 损失函数用来衡量标签和预测结果的误差、损失函数的定义取决于数据和任务
          • 最常见的损失函数平方误差（squard loss）及其特性
        • 如何更新 -梯度学习方法$\theta_{new} = \theta_{old} -\eta\frac{\partial L(\theta)}{\partial \theta}$
          • 例子：模型选择（线性模型、二次模型）、参数学习