KNN算法的主要分為3步：首先，計(jì)算待分類(lèi)樣本與已知類(lèi)別的訓(xùn)練樣本之間的距離或相似度，找到與待分類(lèi)樣本最近的k個(gè)樣本，稱(chēng)之為待分類(lèi)樣本的k個(gè)近鄰：其次，根據(jù)這些樣本所屬的類(lèi)別來(lái)判斷待分類(lèi)樣本的類(lèi)別，如果待分類(lèi)樣本的k個(gè)近鄰都屬于同一個(gè)類(lèi)別，那么待分類(lèi)樣本也屬于該類(lèi)別：否則的話，對(duì)每一個(gè)候選類(lèi)別進(jìn)行評(píng)分，按照一定的規(guī)則來(lái)確定待分類(lèi)樣本的類(lèi)別。

　　K近鄰算法中的分類(lèi)決策規(guī)則往往遵循多數(shù)表決，多數(shù)表決是指由待分類(lèi)樣本的k個(gè)近鄰（訓(xùn)練樣本）所得到的多數(shù)類(lèi)別來(lái)決定輸入樣本的類(lèi)別。盡管K近鄰算法可以在一定程度上有效地判斷出待分類(lèi)樣本的類(lèi)別，但其結(jié)果往往也伴隨著誤差，這樣的誤差文中稱(chēng)為近鄰錯(cuò)誤分類(lèi)率。