评估指标 - 你的人工智能真的好吗？

您已经训练了一个模型。损失下降了。但这真的“好”吗？答案完全取决于你如何衡量它——选择错误的指标可能会给你带来危险的误导性信心。本课程涵盖每个人工智能从业者必须了解的指标。

准确性陷阱

准确度 = 正确预测 ÷ 总预测。听起来很合理——直到你遇到类别不平衡。

想象一个欺诈检测模型。在 10,000 笔交易中，只有 50 笔是欺诈交易。一个简单地预测每笔交易“不是欺诈”的模型可以实现 99.5% 的准确度 - 同时发现零欺诈。完全没用，但准确性看起来很棒。

这就是为什么对于现实世界的人工智能来说，仅靠准确性是不够的。

混淆矩阵

在深入研究更好的指标之前，我们需要混淆矩阵 - 一个 2×2 的表来分解每个预测：

| |预测为阳性 |预测为负 | |---|---|---| | 实际上是积极的 |真阳性 (TP) |假阴性 (FN) | | 实际上是负面的 |误报 (FP) |真阴性 (TN) |

具体示例 - 对 1,000 封电子邮件进行垃圾邮件过滤（100 封垃圾邮件，900 封合法邮件）：

| |预测垃圾邮件 |预测合法 | |---|---|---| | 实际上是垃圾邮件 | 80（TP）| 20（FN）| | 实际上合法 | 30（FP）| 870（田纳西州）|

从这个表中，我们可以得出每个分类指标。

精确度 - “在我标记的所有内容中，有多少是正确的？”

Precision = TP ÷ (TP + FP) = 80 ÷ (80 + 30) = 72.7%

在我们的垃圾邮件过滤器中：在所有标记为垃圾邮件的电子邮件中，72.7% 实际上是垃圾邮件。另外 27.3% 是被错误捕获的合法电子邮件 - 误报。

**当精度最重要时：**当误报代价高昂时。将重要客户电子邮件发送到垃圾邮件的垃圾邮件过滤器是一个严重的问题。

回想一下 - “在所有积极的事情中，我发现了多少？”

Recall = TP ÷ (TP + FN) = 80 ÷ (80 + 20) = 80%

该模型捕获了 100 封实际垃圾邮件中的 80 封 - 它“召回”了其中的 80%。另外 20 个因漏报而漏掉了。

**当回忆最重要时：**当错过阳性病例时是危险的。在癌症筛查中，未能检测到肿瘤（假阴性）可能会夺去生命。

精确率与召回率的权衡

精确率和召回率朝相反的方向发展。收紧垃圾邮件阈值会捕获更少的合法电子邮件（精确度上升），但会允许更多垃圾邮件通过（召回率下降）。放松它会捕获更多垃圾邮件（召回率上升），但会捕获更多优质电子邮件（精确度下降）。

天下没有免费的午餐 - 您必须决定哪些错误对于您的特定用例来说代价更高。

F1 分数 - 调和平均值

当您需要一个平衡精度和召回率的数字时，请使用 F1 分数：

F1 = 2 × (Precision × Recall) ÷ (Precision + Recall)