监督学习(Supervised Learning)是机器学习的核心范式之一，其目标是从已标注的数据中学习一个映射函数，用于预测未知数据的输出。其核心流程包括：

1. 选择归纳偏置(Inductive Bias)：模型类、损失函数、正则项；
2. 训练：通过ERM或正则化ERM求解参数；
3. 验证：使用验证集选择超参数；
4. 测试：在独立测试集上评估泛化性能。

本文将系统介绍监督学习的基本概念、方法框架和实际应用，涵盖回归(Regression)与分类(Classification)问题、经验风险最小化(Empirical Risk Minimization, ERM)、模型选择(Model Selection)、偏差-方差权衡(Bias-Variance Tradeoff)、正则化技术(Regularization)以及概率模型中的最大似然估计(Maximum Likelihood Estimation, MLE)等内容。

监督学习

什么是监督学习？

监督学习旨在从训练数据 $D = {(x_n, t_n)}_{n=1}^N$ 中学习一个函数，使得对于新的输入 $x$，能够预测其输出 $t$。根据输出变量的类型，可分为：

• 回归问题(Regression)：$t$ 是连续值（如温度预测）；
• 分类问题(Classification)：$t$ 是离散标签（如天气预测）。

经验风险最小化（ERM）

由于真实分布 $p(x, t)$ 未知，我们使用训练集上的经验损失作为替代： $$ L_D(\theta) = \frac{1}{N} \sum_{n=1}^N \ell(t_n, f(x_n|\theta)) $$ ERM 的目标是： $$ \theta^{ERM} = \arg\min_{\theta} L_D(\theta) $$

模型选择与验证

模型复杂度（如多项式次数 $M$）影响泛化能力：

• 欠拟合(Underfitting)：模型太简单，训练误差和测试误差都大；
• 过拟合(Overfitting)：模型太复杂，训练误差小，测试误差大。

使用 验证集(Validation Set) 或 K折交叉验证(K-fold Cross Validation) 来估计泛化误差，选择最优模型复杂度。

偏差与估计误差

泛化误差可分解为： $$ L_p(\theta_D) = \underbrace{L_p(f^)}_{\text{最小误差}} + \underbrace{[L_p(f^\mathcal{H}) - L_p(f^*)]}{\text{偏差(Bias)}} + \underbrace{[L_p(\theta_D) - L_p(f^*\mathcal{H})]}{\text{估计误差(Estimation Error)}} $$

• 偏差：模型类 $\mathcal{H}$ 的表达能力不足；
• 估计误差：训练数据有限导致的参数估计不准确。

正则化

为防止过拟合，在损失函数中加入正则项(Regularization Term)： $$ \min_\theta L_D(\theta) + \frac{\lambda}{N} R(\theta) $$ 常见正则项：

• $L_2$ 正则($L_2$ Regularization)：$R(\theta) = |\theta|_2^2$（岭回归/Ridge Regression）；
• $L_1$ 正则($L_1$ Regularization)：$R(\theta) = |\theta|_1$（LASSO）。

概率模型与最大似然估计

若输出具有随机性，可建模为条件分布 $p(t|x, \theta)$。使用 负对数似然(Negative Log-Likelihood) 作为损失函数： $$ L_D(\theta) = -\frac{1}{N} \sum_{n=1}^N \log p(t_n | x_n, \theta) $$ 最大化似然等价于最小化该损失。

举例与应用

优化

优化（Optimization）是机器学习（Machine Learning）的核心环节，直接决定了模型能否从数据中有效地学习。无论是简单的线性回归还是复杂的深度神经网络，训练过程本质上都是一个优化问题——最小化损失函数（Loss Function）。本节将深入探讨机器学习中的优化方法，涵盖最优性条件、梯度下降（Gradient Descent）、随机梯度下降（Stochastic Gradient Descent, SGD）以及梯度计算技术（如自动微分/Automatic Differentiation）.

优化是机器学习模型训练的基础。梯度下降及其变体（如SGD）是实际应用中最常用的方法。理解最优性条件、学习率选择、梯度计算方式（尤其是自动微分）对于设计和调试机器学习模型至关重要。SGD 不仅降低了计算成本，还可能通过其随机性带来更好的泛化性能。未来，自适应优化算法（如Adam、RMSProp）和更先进的学习率调度策略将继续推动机器学习优化的发展。

优化在机器学习中的角色

在监督学习中，训练过程可形式化为以下优化问题：

$$ \min_{\theta} \frac{1}{N} \sum_{n=1}^{N} f(x_n, t_n; \theta) + R(\theta) $$

其中：

• $f(x_n, t_n; \theta)$ 是损失函数，
• $R(\theta)$ 是正则化项（Regularization），
• $\theta$ 是模型参数。

由于精确求解（Exact Optimization）通常不可行，我们依赖局部优化方法（Local Optimization Methods）进行近似求解。

最优性条件（Optimality Conditions）

单变量函数（Single-Variable Functions）

• 梯度（Gradient）：负梯度 $-\frac{dg(\theta)}{d\theta}$ 指向函数局部下降最快的方向。

• 驻点（Stationary Point）：若 $\theta^*$ 是局部极小值点，则必须满足一阶条件：

  $$ \frac{dg(\theta^*)}{d\theta} = 0 $$

• 二阶条件（Second-Order Condition）：通过二阶导数判断曲率（Curvature）：

  • $\frac{d^2g(\theta)}{d\theta^2} > 0$：正曲率，局部呈“U形”，可能是极小值点；
  • $\frac{d^2g(\theta)}{d\theta^2} < 0$：负曲率，局部呈“倒U形”，可能是极大值点；
  • $\frac{d^2g(\theta)}{d\theta^2} = 0$：零曲率，无法判断。

多变量函数（Multi-Variable Functions）

• 梯度向量（Gradient Vector）：

  $$ \nabla g(\theta) = \left[ \frac{\partial g}{\partial \theta_1}, \frac{\partial g}{\partial \theta_2}, \dots, \frac{\partial g}{\partial \theta_D} \right]^T $$

• Hessian 矩阵（Hessian Matrix）：

  $$ \nabla^2 g(\theta) = \begin{bmatrix} \frac{\partial^2 g}{\partial \theta_1^2} & \cdots & \frac{\partial^2 g}{\partial \theta_1 \partial \theta_D} \ \vdots & \ddots & \vdots \ \frac{\partial^2 g}{\partial \theta_D \partial \theta_1} & \cdots & \frac{\partial^2 g}{\partial \theta_D^2} \end{bmatrix} $$

• 凸函数（Convex Function）：若 Hessian 矩阵半正定（Positive Semidefinite），则所有驻点都是全局最小值点。

梯度下降法（Gradient Descent, GD）

梯度下降是一种一阶优化方法，迭代更新公式为：

$$ \theta^{(i+1)} = \theta^{(i)} - \gamma \nabla g(\theta^{(i)}) $$

其中 $\gamma$ 是学习率（Learning Rate）。

性质与收敛性

• L-平滑函数（L-Smooth Function）：若满足 $\left| \frac{d^2g(\theta)}{d\theta^2} \right| \leq L$，则函数曲率有界。
• 收敛条件：若 $\gamma < \frac{1}{L}$，则 GD 能保证：
  1. 损失函数非递增：$g(\theta^{(i+1)}) \leq g(\theta^{(i)}) - \frac{\gamma}{2} | \nabla g(\theta^{(i)}) |^2$
  2. 最终收敛到驻点：$\lim_{i \to \infty} \nabla g(\theta^{(i)}) = 0$

随机梯度下降（Stochastic Gradient Descent, SGD）

当训练集很大（$N$ 很大）时，计算完整梯度 $\nabla g(\theta) = \frac{1}{N} \sum_{n=1}^N \nabla g_n(\theta)$ 成本高昂。SGD 每次迭代只使用一个 mini-batch $S^{(i)}$ 的样本估计梯度：

$$ \theta^{(i+1)} = \theta^{(i)} - \gamma^{(i)} \cdot \frac{1}{|S^{(i)}|} \sum_{n \in S^{(i)}} \nabla g_n(\theta^{(i)}) $$

性质与调参

• 梯度噪声（Gradient Noise）：由于 mini-batch 的随机性，SGD 的梯度估计有方差。
• 学习率调度（Learning Rate Scheduling）：常使用递减学习率，如 $\gamma^{(i)} = \frac{\gamma^{(0)}}{(1 + \beta i)^\alpha}$（其中 $0.5 < \alpha \leq 1$），以满足 Robbins-Monro 条件，保证收敛。
• 隐式正则化（Implicit Regularization）：SGD 的噪声有助于避免尖锐的局部极小值，可能提升泛化能力。

如何计算梯度（How to Compute Gradients）

三种方法对比

自动微分（Automatic Differentiation / Backpropagation）

自动微分通过计算图（Computational Graph）和链式法则（Chain Rule）高效计算梯度。分为前向传播（Forward Pass）和反向传播（Backward Pass）。

二元分类问题

本章节围绕监督学习中的 二元分类（Binary Classification） 问题，系统介绍了从 线性模型（Linear Models） 到 神经网络（Neural Networks），再到前沿的 Transformer架构 的核心方法。内容涵盖模型定义、训练算法、梯度计算与反向传播（Backpropagation），并辅以实例说明。

二元分类问题定义

在二元分类中，我们有一个带标签的数据集 $\mathcal{D} = {(\mathbf{x}n, t_n)}{n=1}^N$，其中 $\mathbf{x}_n \in \mathbb{R}^D$ 是输入特征向量，$t_n \in {0, 1}$ 是对应的类别标签。目标是学习一个模型，对新的输入 $\mathbf{x}$ 预测其类别 $\hat{t}$。

有时也使用符号标签（Signed Label） $t^\pm$： $$ t^\pm = \begin{cases} +1 & \text{if } t = 1 \ -1 & \text{if } t = 0 \end{cases} $$

线性模型（Linear Models）

硬预测（Hard Prediction）

使用阶跃函数（Step Function）： $$ f(\mathbf{x} | \boldsymbol{\theta}) = \text{step}(\boldsymbol{\theta}^T \mathbf{u}(\mathbf{x})) = \begin{cases} 1 & \text{if } \boldsymbol{\theta}^T \mathbf{u}(\mathbf{x}) > 0 \ 0 & \text{otherwise} \end{cases} $$ 其中 $\mathbf{u}(\mathbf{x})$ 是特征映射（Feature Mapping），$\boldsymbol{\theta}$ 是参数向量。

软预测（Soft Prediction）与逻辑回归（Logistic Regression）

使用Sigmoid函数 $\sigma(a) = (1 + e^{-a})^{-1}$ 输出概率： $$ p(t=1 | \mathbf{x}, \boldsymbol{\theta}) = \sigma(\boldsymbol{\theta}^T \mathbf{u}(\mathbf{x})) $$

特征工程（Feature Engineering）

若原始特征 $\mathbf{x}$ 无法线性分割，可通过构造特征向量 $\mathbf{u}(\mathbf{x})$ 实现线性可分。例如：

• 多项式特征：$\mathbf{u}(\mathbf{x}) = [x_1, x_2, x_1x_2]^T$
• 词袋模型（Bag-of-Words）：$\mathbf{u}(\mathbf{x}) = [\text{count}(w_1), \dots, \text{count}(w_D)]^T$

神经网络（Neural Networks）

模型结构

神经网络通过多层非线性变换自动学习特征表示。一个 $L$ 层网络结构如下：

1. 特征提取层（$L-1$ 层）：

   • 每层 $l$ 有 $D^l$ 个神经元，使用激活函数 $h(\cdot)$（如 ReLU, Sigmoid, Tanh）
   • 输出：$\mathbf{h}^l = h(\mathbf{a}^l) = h(\mathbf{W}^l \mathbf{h}^{l-1})$
   • 最后一层特征：$\mathbf{u}(\mathbf{x} | \boldsymbol{\theta}) = \mathbf{h}^{L-1}$

2. 分类层（第 $L$ 层）：

   • 使用 Sigmoid 激活：$p(t=1 | \mathbf{x}, \boldsymbol{\theta}) = \sigma(\mathbf{w}^L \cdot \mathbf{h}^{L-1})$

激活函数对比

训练与优化

损失函数（Loss Functions）

• 0-1损失（0-1 Loss）：$\ell(t, \hat{t}) = \mathbb{I}(t \neq \hat{t})$，不连续，难以优化
• 替代损失（Surrogate Losses）：
  • Hinge Loss：$\max(0, -y)$，$y = t^\pm \cdot \boldsymbol{\theta}^T \mathbf{u}(\mathbf{x})$
  • Logistic Loss：$\log(1 + e^{-y})$（等价于负对数似然）
  • Exponential Loss：$e^{-y}$

随机梯度下降（SGD）与反向传播

使用 SGD 最小化正则化经验风险： $$ \min_{\boldsymbol{\theta}} \frac{1}{N} \sum_{n=1}^N \ell(t_n, f(\mathbf{x}_n | \boldsymbol{\theta})) + \lambda R(\boldsymbol{\theta}) $$

反向传播通过链式法则计算梯度： $$ \frac{\partial \ell}{\partial w_{j,d}^l} = \delta_j^l \cdot h_d^{l-1} $$ 其中 $\delta_j^l$ 是第 $l$ 层第 $j$ 个神经元的误差信号。

举例与应用

Last modified on 2025-08-22