聚类：AI如何在没有标签的情况下发现规律
聚类：人工智能如何找到没有标签的模式 🔵
到目前为止，您学习的每个算法都受到监督：您向其提供带标签的示例，它会学习预测新标签。但是，当您拥有大量数据并且根本没有标签时会发生什么？
这就是无监督学习的用武之地——而集群是其最强大的工具之一。
🔍 什么是聚类？
聚类是将数据点分组在一起的任务，以便同一组（簇）中的点比其他组中的点更“相似”。
至关重要的是，没有人告诉算法有多少组或它们代表什么。它自己找到结构。
可以将其想象为闭上眼睛对一堆混合糖果进行分类，只需使用触摸即可。你可以根据形状对它们进行分组——圆形的放在一起，长的放在一起，耐嚼的和硬的分开——没有人提前定义类别。
天文学家使用聚类根据形状和组成对星系进行分组，遗传学家使用聚类来识别疾病亚型，Spotify 则使用聚类来生成个性化播放列表 - 所有这些都无需任何人手动标记数据。
📍 K-Means：最著名的聚类算法
K-Means 简单、快速且功能强大。这是简单英语的完整算法：
- 选择 K — 提前决定您想要多少个集群。
- 随机放置 K 个质心 — 在数据空间中随机散布 K 个点。质心只是簇的“中心”。
- 将每个数据点分配给最近的质心 - 每个点都属于它最接近的质心。
- 重新计算每个质心 — 将每个质心移动到分配给它的所有点的平均位置。
- 重复步骤 3 和 4 — 不断重新分配和重新计算，直到分配停止变化。
打个比方：想象一下将 K 块磁铁放在客户地址地图上。每个顾客都会被最近的磁铁所吸引。然后你将每个磁铁移动到其客户的中心。重复直到磁铁停止移动。
K 均值取决于质心的初始随机放置。对相同数据的两次运行可能会产生不同的簇。您如何决定哪个结果更好？你甚至会测量什么？
🔢 选择 K：肘部法
一个实际问题：如何选择K？如果你将 K 设置为数据点的数量，那么每个点都是它自己的簇——完美但无用。如果 K = 1，一切都是一大团——同样毫无用处。
elbow 方法 有助于：对 K = 1, 2, 3, … N 运行 K 均值，并绘制随着 K 增加“误差”（簇内方差）减少的程度。更多的簇总是会减少误差，但通常在 K 处，改进开始急剧放缓——曲线中的“肘部”。这是正确 K 的良好候选者。
这不是一条硬性规则，但它为您提供了一个原则性的起点。
🌿 层次聚类
K-Means 要求您预先修复 K。 层次聚类没有。
相反，它通过以下任一方式构建聚类树（称为树状图）：
- 聚合（自下而上）：从每个点作为自己的簇开始。反复合并两个最相似的簇，直到一切都成为一个大簇。
- 分裂（自上而下）：从一个集群中的所有内容开始。反复分割最不相似的簇，直到每个点都是自己的簇。
生成的树状图允许您在任何级别“切割”以获得任意数量的簇，这是非常灵活的。缺点：层次聚类在大型数据集上的计算成本很高。
🌍 实际应用
聚类无处不在：
|应用 |什么被聚集| |---|---| |客户细分|按购买行为对客户进行分组 | |图像压缩 |像素颜色缩减为 K 个代表颜色 | |文件组织|按主题分组的文章没有手动标签 | |异常检测|不适合任何聚类的异常值 = 可疑 | |遗传学 |按疾病亚型分组的基因表达模式| |社交网络|通过连接模式识别的社区 |
⚠️ 聚类的局限性
集群很强大，但也有真正的局限性：
- 解释集群很困难 - 算法对数据进行分组，但您仍然必须弄清楚每个组。
讨论
登录 参与讨论