机器学习分类

无监督聚类算法精讲：K-Means 迭代优化原理、质心更新与肘部法则 Elbow Method

小象实战讲义 · Python数据分析实战

在很多商业探索与冷启动场景中，数据完全没有人工标注的标签（例如：不知道新用户属于什么具体群体、不知道未知故障有哪些类别）。此时，我们需要依赖无监督聚类（Clustering） 算法，根据样本特征之间的“相似度”（如欧氏距离），自动将相似的样本归为一个簇（Cluster），将差异大的样本分到不同簇。在所有聚类算法中，K-Means（K 均值聚类） 是工业界使用最广、算法思想最经典的代表。本节我们将深入剖析 K-Means 的交替优化流程、惯性指标（Inertia）以及确定最优聚类簇数 $K$ 的肘部法则。

💡 核心导读

• K-Means 迭代优化黄金四步：
  • 1. 随机初始化 $K$ 个簇中心质心（Centroids）；
  • 2. 分配样本（Assignment）：计算每个样本到各个质心的欧氏距离，归入最近的簇；
  • 3. 更新质心（Update）：重新计算每个簇内所有样本的均值向量作为新质心；
  • 4. 重复 2 和 3 直至质心位置收敛不再发生变化。
• 聚类惯性损失（Inertia / 簇内平方和 WCSS）。
• 肘部法则（Elbow Method）：寻找 Inertia 下降速率发生明显拐弯的最优 $K$ 值。

1. K-Means 迭代优化数学模型与收敛过程

K-Means 的质心迭代收敛机制如下：

┌─────────────────────────────────────────────────────────────┐
│                 K-Means 迭代交替优化循环                    │
├─────────────────────────────────────────────────────────────┤
│ 1. 随机指定 K 个初始质心                                    │
│                ║                                            │
│                ▼                                            │
│ 2. 计算欧氏距离，将所有样本划分给最近质心 (划分 Voronoi 胞)  │
│                ║                                            │
│                ▼                                            │
│ 3. 重新计算每个簇内部样本的均值点作为新质心                 │
│                ║                                            │
│                ▼ (是否收敛？未收敛则循环回第 2 步)          │
│ 4. 质心不再移动，输出最终稳定的聚类标签与簇轮廓             │
└─────────────────────────────────────────────────────────────┘

import numpy as np
import pandas as pd
from sklearn.cluster import KMeans

# 1. 模拟生成 3 个天然聚集的客户分群数据集
np.random.seed(42)
group1 = np.random.normal(loc=[20, 2000], scale=[3, 200], size=(40, 2))  # 年轻低消群
group2 = np.random.normal(loc=[35, 8000], scale=[4, 600], size=(40, 2))  # 中年高净值群
group3 = np.random.normal(loc=[50, 4500], scale=[5, 400], size=(40, 2))  # 老年稳健群

X_customers = np.vstack([group1, group2, group3])

# 2. 使用 KMeans 指定 K=3 进行聚类拟合
kmeans = KMeans(n_clusters=3, init="k-means++", n_init=10, random_state=42)
cluster_labels = kmeans.fit_predict(X_customers)

print("=== 1. K-Means 聚类收敛结果 ===")
print("• 学习到的 3 个聚类中心质心 (年龄, 消费额):")
for idx, center in enumerate(kmeans.cluster_centers_):
    print(f"  簇 {idx}: 平均年龄 {center[0]:.1f} 岁 | 平均消费 {center[1]:.1f} 元")
print(f"• 模型最终惯性误差 (Inertia WCSS): {kmeans.inertia_:.2f}")

2. 肘部法则 Elbow Method 寻找最佳 K 值

通过遍历 $K=1 \dots 8$，绘制惯性（Inertia）下降曲线，拐点即为最佳聚类数。

# 遍历不同 K 值计算惯性误差
k_candidates = range(1, 8)
inertias = []

for k in k_candidates:
    km = KMeans(n_clusters=k, n_init=5, random_state=42)
    km.fit(X_customers)
    inertias.append(km.inertia_)

print("\n=== 2. 肘部法则 (Elbow Method) 候选指标 ===")
for k, val in zip(k_candidates, inertias):
    print(f"• K = {k:>2d} ──► Inertia (簇内误差和) = {val:>10.1f}")
print("\n分析结论: 当 K 从 1 增到 3 时误差急剧下降，K>3 之后下降极其平缓，拐点 K=3 为最优簇数！")

3. 轮廓系数（Silhouette Score）：聚类质量的量化标尺

肘部法则依赖”肉眼找拐点”，主观性较强。更客观的评估指标是轮廓系数：对每个样本 $i$，分别计算

• 簇内凝聚度 $a(i)$：$i$ 到本簇其他样本的平均距离（越小越紧密）
• 簇间分离度 $b(i)$：$i$ 到最近邻簇全部样本的平均距离（越大越分明）

轮廓系数定义为：

$$s(i) = \frac{b(i) - a(i)}{\max\left(a(i),, b(i)\right)}$$

取值范围 $[-1, 1]$：越接近 $1$ 说明聚类效果越好；接近 $0$ 说明样本位于簇边界上；负值则暗示样本可能被分错了簇。对全部样本取平均，就得到整体聚类质量评分。

from sklearn.metrics import silhouette_score
for k in range(2, 8):
    km = KMeans(n_clusters=k, random_state=42, n_init=10)
    labels = km.fit_predict(X)
    print(f"K={k}: 轮廓系数 = {silhouette_score(X, labels):.4f}")

工程经验法则：平均轮廓系数 > 0.5 表示聚类结构清晰；0.25 ~ 0.5 之间结构偏弱但可参考；< 0.25 则说明数据可能不适合 K-Means，建议先做降维（如 PCA）或改用密度聚类（如 DBSCAN）。

📝 动手练一练

1. 概念思考题：K-Means 算法在对包含不同量纲特征（例如年龄 2060 岁，年收入 50000500000 元）的数据进行聚类时，如果不做数据标准化（Standardization），会引发什么严重后果？

   👉 点击查看参考答案

   参考答案： K-Means 底层完全依赖欧氏距离计算相似度。如果不做标准化，年收入这样数值范围巨大的特征在距离计算中的权重将达到 99% 以上，而年龄特征的微小差异将被完全稀释忽略。因此聚类前必须进行标准化（如 StandardScaler）。

2. 编程练习：使用 KMeans 对数据 X = [[1, 2], [1, 4], [10, 2], [10, 4]] 进行 $K=2$ 聚类，并打印每个样本所属的类别。

   👉 点击查看参考答案

   参考答案：

   from sklearn.cluster import KMeans
   X = [[1, 2], [1, 4], [10, 2], [10, 4]]
   km = KMeans(n_clusters=2, random_state=0).fit(X)
   print("聚类标签:", km.labels_)

本章小结

• 掌握了 K-Means 算法“分配样本 $\rightarrow$ 更新质心”的交替优化闭环；
• 深刻理解了簇内平方和惯性（Inertia）在度量聚类紧密度中的核心地位；
• 熟练运用肘部法则（Elbow Method）科学确定最优聚类簇数 $K$。

📋 行动清单

• 在本地执行示例代码，观察控制台输出并记录关键指标。
• 做好准备，进入下一小节学习《Python 机器学习基石：scikit-learn 框架与统一 API 架构》！

—— 小象教研组