损失函数与优化器
损失函数和优化器
反向传播为我们提供了梯度——但是梯度是什么？在反向传播运行之前，我们需要一个数字来捕获模型的错误程度。该数字来自损失函数。一旦我们有了梯度，优化器就会决定如何更新权重。它们共同构成了学习循环。
什么是损失函数？
损失函数（也称为成本函数）采用模型的预测和真实答案，并返回一个衡量“错误”的数字。训练的目标是最小化这个数字。
可以把它想象成高尔夫球的得分——越低越好。损失为 0 意味着预测完美。
回归损失函数 - MSE
在预测连续值（房价、温度）时，我们使用 均方误差 (MSE)：
MSE = (1/n) × Σ(predicted - actual)²
平方有两个作用：它使所有错误都为正，并且不成比例地惩罚大错误。预测房价下跌 10 万英镑，平方误差比下跌 1 万英镑要差 100 倍。
MSE 的历史可以追溯到 1795 年 Carl Friedrich Gauss 提出的——比神经网络早两个多世纪。他用它来追踪小行星谷神星的轨道。
分类损失函数 - 交叉熵
在预测类别（是否为垃圾邮件、猫与狗）时，我们使用交叉熵损失。它衡量模型的预测概率与真实标签的距离。
如果正确答案是“猫”并且模型显示 99% 是猫，则损失很小。如果说10%的猫，损失是巨大的。交叉熵有一个有用的属性：当模型确信错误时，它会变得“无限”不高兴，从而创建一个强大的梯度来纠正错误。
二元交叉熵适用于二类问题。 分类交叉熵通过比较概率分布来处理多个类别。
为什么 MSE 不是分类任务的糟糕选择？
梯度下降 - 滚下坡
定义了损失函数后，我们可以可视化损失景观——一个表面，其中每个点代表一组权重，高度就是损失。训练意味着找到最低的山谷。
梯度下降是让我们达到目标的算法：
- 计算当前位置的梯度（斜率）。
- 向相反方向迈出一步（下坡）。
- 重复。
每个步骤的大小由学习率控制——可以说是深度学习中最重要的超参数。
学习率困境
- 太高： 你越过了山谷，来回弹跳或完全偏离。
- 太低： 你会痛苦地缓慢地爬行，并且可能会陷入浅的局部最小值。
- 恰到好处： 您稳步收敛到一个好的解决方案。
想象一下，徒步走下一座雾蒙蒙的山，你只能感觉到脚下的斜坡。走下山坡，却看不到全貌。你怎么可能会陷入一个不是最深山谷的小洼地呢？这就是局部最小值问题。
梯度下降的风味
批量梯度下降
每次更新前使用整个数据集计算梯度。对于大型数据集来说准确但速度慢得令人痛苦 - 想象一下在纠正单个拼写错误之前重新阅读图书馆中的每一本书。
随机梯度下降 (SGD)
在每个单个示例之后更新权重。速度快但噪音大——道路曲折蜿蜒。噪声实际上可以帮助逃脱局部最小值，这是一个令人惊讶的好处。
小批量梯度下降
讨论
登录 参与讨论