再论最近邻判别分析

一、引言: 设(X,θ)为在R~d×{1,…,M}中取值的随机向量,称X为指标变量,θ为类别变量。假定X的值已知,据此要对与其匹配的θ值进行判定,这就是判别分析问题。在(X,θ)的分布未知的情况下,为进行判别,除利用X的当前观察值外,还要借助于历史知识。设(X_i,θ_i),i=1,…,n,是(X,θ)的一组iid样本,常称为训练样本。此时我们考虑的问题是,利用(X_i,θ_i),i=1,…,n及X值对θ进行判别。假定在R~d中引进了某一距离函数p(x,