您现在知道神经网络通过调整权重和偏差来学习。但完整的培训过程实际上是如何进行的呢?你怎么知道模型什么时候已经学得足够了——或者太多了?在本课中,我们将走过完整的训练历程。
训练人工智能模型遵循一个不断重复的循环:
这个循环运行数千甚至数百万次。每次重复都会使模型稍微接近正确答案。
据报道,仅训练 GPT-4 的计算能力就花费了超过 1 亿美元。训练循环在数千个专用芯片上运行了数月。
每次预测之后,我们需要一种方法来衡量模型的“错误程度”。这种测量称为损失(或成本),计算它的公式是损失函数。
把它想象成一个飞镖靶。靶心就是正确答案。损失是从飞镖落地点到靶心的距离。训练的目标是随着时间的推移最小化该距离。
常见的损失函数包括:
损失函数在人工智能训练中衡量什么?
对整个训练数据集的一次完整遍历称为纪元。训练通常涉及许多时期 - 模型多次看到相同的数据,每轮都会稍微好一点。
考试复习就像跑纪元。第一次阅读会令人困惑,但每次阅读都会加深理解。但是,如果您将相同的笔记重新阅读一百遍,您可能会记住确切的措辞,但无法真正理解概念。人工智能也有同样的问题。
过度拟合是人工智能训练中最常见的问题之一。当模型对训练数据学习得“太好”(包括其噪声和怪癖)并且无法对新的、看不见的数据执行时,就会发生这种情况。
想象一下,一个学生逐字逐句地记住过去的每一篇试卷。他们在旧试卷上得分很高,但在问题稍有变化时就会表现不佳。学生还没有学过这门课——他们已经记住了答案。
过度拟合的迹象:
登录 参与讨论
练的目标不是在模型已经看到的数据上获得完美的分数。它能够在以前“从未”见过的数据上表现良好。这才是学习的真正考验。
相反的问题是欠拟合。当模型没有从数据中学到足够的知识时就会发生这种情况。它在训练数据和新数据上都表现不佳。
欠拟合的原因包括:
如果说过拟合就像背过去的试卷,那么欠拟合就像刚打开课本就走进考试。
模型在训练数据上的准确度为 98%,但在新数据上的准确度仅为 60%。最有可能出现的问题是什么?
为了检测过度拟合和欠拟合,我们将数据分为三个部分:
|设置|目的|使用时 | |-----|---------|------------| | 训练集 |该模型从这些数据中学习 |训练期间 | | 验证集 |用于检查进度和调整设置 |训练期间 | | 测试集 |对完全看不见的数据的最终评估|训练后|
常见的划分是 70% 训练、15% 验证和 15% 测试。模型直到最后才永远不会看到测试集 - 这是期末考试。
验证集就像您在学习课程之间进行的练习测试。它可以告诉您您的学习情况,而不会破坏真正的考试。如果你的练习测试分数开始下降,而你的学习笔记分数却不断上升,你就知道出了问题。
知道何时停止至关重要。训练太少,模型拟合不足。训练太多就会过度适应。最佳点是验证损失停止改善。
一种称为“提前停止”的技术可以自动执行此操作:
这可以防止模型超越有用的学习点并陷入记忆。
什么是人工智能训练中的”提前停止”?
一些现代训练运行使用一种称为学习率调度的技术,该技术逐渐减少每一步权重的变化——就像当你接近山顶时采取更小、更小心的步骤。
在最后一课中,我们将探讨人工智能的道德维度——偏见、公平、隐私以及负责任的人工智能是什么样子。