K-means算法介紹

簡單來說，K-means算法是一種無監(jiān)督算法，不需要事先對數(shù)據(jù)集打上標簽，即ground-truth，也可以對數(shù)據(jù)集進行分類，并且可以指定類別數(shù)目 牧師-村民模型

K-means 有一個著名的解釋：牧師—村民模型：

有四個牧師去郊區(qū)布道，一開始牧師們隨意選了幾個布道點，并且把這幾個布道點的情況公告給了郊區(qū)所有的村民，于是每個村民到離自己家最近的布道點去聽課。聽課之后，大家覺得距離太遠了，于是每個牧師統(tǒng)計了一下自己的課上所有的村民的地址，搬到了所有地址的中心地帶，并且在海報上更新了自己的布道點的位置。牧師每一次移動不可能離所有人都更近，有的人發(fā)現(xiàn)A牧師移動以后自己還不如去B牧師處聽課更近，于是每個村民又去了離自己最近的布道點……就這樣，牧師每個禮拜更新自己的位置，村民根據(jù)自己的情況選擇布道點，最終穩(wěn)定了下來。

牧師的目的非常明顯，就是要讓每個來上自己課的村民走的路程最少

算法步驟 指定k個中心點 更新數(shù)據(jù)點所屬類別：計算每個數(shù)據(jù)點到這k個點的歐氏距離，距離最小即為這個數(shù)據(jù)點的類別 更新中心點坐標：對每一個類別的數(shù)據(jù)點求平均，平均值即為新的中心點位置偽代碼

獲取m個n維的數(shù)據(jù)隨即選取k個點作為初始中心點while keep_changing:for i in range(m):for j in range(k):計算每個點到center的距離判斷離哪個點更近for center in range(k):更新類別中心點的坐標

用Python實現(xiàn)K-means聚類算法

import numpy as npimport matplotlib.pyplot as pltimport sklearn.datasets as datasetsdef create_data(): X,y = datasets.make_blobs(n_samples=1000,n_features=2,centers=[[1,0],[5,4],[2,3],[10,8],[7,4]]) return X,ydef init_centers(data,k): m, n =data.shape # m 樣本個數(shù)，n特征個數(shù) center_ids = np.random.choice(m,k) centers = data[center_ids] return centersdef cal_dist(ptA,ptB): return np.linalg.norm(ptA-ptB)def kmeans_process(data,k): centers = init_centers(data, k) m, n = data.shape keep_changing = True pred_y = np.zeros((m,)) while keep_changing:keep_changing = False# 計算剩余樣本所屬類別for i in range(m): min_distance = np.inf for center in range(k):distance = cal_dist(data[i,:],centers[center,:])if distance<min_distance: # 判斷離哪個更近 min_distance = distance idx = center # 類別換下 if pred_y[i] != idx: # 判斷是否發(fā)生了改變keep_changing = True pred_y[i] = idx# 更新類別中心點坐標for center in range(k): cluster_data = data[pred_y==center] centers[center,:] = np.mean(cluster_data, axis=0) # 求相同類別數(shù)據(jù)點的質(zhì)心點print(centers) return centers, pred_yif __name__ == ’__main__’: X, y = create_data() centers , pred_y = kmeans_process(data=X, k=5) plt.scatter(X[:,0], X[:,1], s=3, c=pred_y) plt.scatter(centers[:,0], centers[:,1], s=10, c=’k’) plt.show()

效果圖

到此這篇關(guān)于Python實現(xiàn)K-means聚類算法并可視化生成動圖步驟詳解的文章就介紹到這了,更多相關(guān)Python可視化K-means聚類算法內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！