Sufficient And Necessary Condition For Convergence of Conditional Error Probability in NN-Pattern Discrimination

Let (θ_1,X_1),…, (θ_n,X_n), (θ, X) be iid random vectors ,where θ∈{0,1},X∈R~d Denote by θ′_n the nearest neighbour discriminator of θ based on the training samples (θ_1,X_1),…, (θ_n,X_n) and the observed X; put and This paper gives a sufficient and necessary condition for as n→∞, namely (P(θ=0, X=x)-P(θ=1, X=x))~2·P(θ=0, X=x)·P(θ=1, X=x)=0 for every x∈R~d.This generalizes a previous result of the authors [5] and improves a result of Wagner, T.J. [2].     

THE CONVERGENCE RATES OF ASYMPTOTICALLY BAYES DISCRIMINATION

§1. Introduction and Main Results Let (X, θ), (X_1, θ_1), ..., (X_n, θ_n) be R~d×{0, 1} valued independent identically distributed (iid) random variables (r. v.), with P(θ=1)=p_1 and P(θ=0)=p_0=1-p_1. Let the conditional density function of X given θ=i be f_i(x)dx, i=0, 1. (X_1, θ_1),..., (X_n, θ_n) are known     

THE CONVERGENCE RATES OF ASYMPTOTICALLY BAYES DISCRIMINATION

§1. Introduction and Main Results Let (X,θ), (X_1, θ~1), …, (X_n, θ_n) be R~d×{0, 1} valued independent identically distributed (iid) random variables (r. v.), with P (θ=1)=P_1 and P(θ=0)=p0=1-p1. Let the conditional density function of X given θ=i be f_i(x)dx, i=0, 1. (X_1, θ_1), …, (X_n, θ_n) are known     

一般损失下k近预测条件风险的指数界

<正> 设(X,θ)为R~d×R~1上随机变量.(X_1,θ_1),…,(X_n,θ_n)为它的独立同分布样本.设X的值已观测,记Z_n=((X_1,θ_1),…,(X_n,θ_n)),要用X和Z_n的值去预测θ的值.设‖·‖为R~d中欧氏距离或最大分量模距离,将X_1,…,X_n重排为X_(n1),…,X_(nn).使得‖X_(n1)‖-X‖≤‖X_(n2)-X‖≤…≤‖X_(nn)-X‖,以θ_(n1),…,θ_(nn)记相应的匹     

最近邻判别法中错误概率估计的强收敛速度(英文)

本文考虑最近邻判别法中错误概率估计的强收敛速度.设(X,θ),(X_1,θ_1),…,(X_n,θ_n)为取值于 R~m×{1,2,…,M}的 i.i.d.样本,m≥1,M≥2为正整数.记θ′_n 为θ的最近邻判别,错判概率 R_n=p(θ′_n≠θ),恒有(?)R_n=R.(?)_n 为基于 X,并借助于训练样本(X_1,θ_1),…,(X_nθ_n)的 R_n 的估计量.我们证明了在一组条件下,及对适当选取的α>0,有(?)_n-R=0(1/(n~α)).     

近邻预测风险的收■性

§1 引言和结果设(X,θ)是一个取值于 R~d×R~l 的随机向量,对其分布一无所知。(X_1,θ_1),…,(X_n,θ_n)为(X,θ)的观察样本。假定(X,θ)(X_1,θ_t),…,(X_n,θ_n)是独立同分布(iid.)的。设已有了 X 的观察值 x,但θ之值未观察。要依据样本(X_i,θ_i),i=1,…,n,及 X 的已知值 x,去预测θ的值。由于对(X,θ)的分布无所知,这个问题是非参数性的,通常的线性回归方法等都不适用。有一种简单而比较实用的非参数方法,叫近邻预测法,其法如下:先按与 x 的距离     

最近邻预测问题中条件风险估计的强收敛速度

设(X_4,θ_4),i=1,2,…,n,是d 1维随机向量(X,θ)的iid.样本。又设L_n是平方损失下最近邻(简记为NN)预测在给定(X_4,θ_4),i=1,2,…n条件下的风险。众所周知,在一定条件下L_n→2E~*,a.s.,这里R~*表示Bayes风险。L_n的NN估计定义为其中θ_(nj)表示以(X_1,θ_1),…,(X_(j-1),θ_(j-1),(X_(j 1),θ_(j 1),…,(X_n,θ_n)为训练样本时,通过X_j=x_j对θ_j所做的NN预测。本文在E|θ|~(2 δ)<∞(δ>0)以及其他一些条件下证明了其中ξ是一个事先任意给定的近于0的正常数。     

一种非参数回归估计量的条件 平均绝对误差的指数收敛速度

<正> 设(X,Y),(X_1,Y_1),…,(X_n,Y_n)是取值于R~d×R~1的独立同分布随机变量,E|Y|<∞.以m(x)=E(Y|X=x)记Y对X的回归函数,Q记X的概率分布测度,Z_n记{(X_i,Y_i),i=1,…,n},它是(X,Y)的已知观测值.一般的非参数回归估计问题,就是对指定的x∈R~d,利用Z_n对m(x)进行估计.设θ=θ(x,Z_n)是这样一个估     

EXPONENTIAL BOUNDS OF POSTERIOR RISK FOR k-NN PREDICTION

Let (X,θ),(X_1,θ_1),…,(X_n,θ_n) be R~d×R~1-valued random vectors, it is desired to predict the value of θ, based on the observed value of X and with the help of the training sample Z~n={(X_i,θ_i), i=1,…,n}. Cover(1) used the k-Nearest Neighbor method to this problem, the method is as follows: Introduce a metric ‖X-Y‖ in R_d. Rearrange X_1,…,X_n into X_(n1),…, X_(nn), such that ‖X_(n1)-X‖≤ ‖X_(n2)-X‖≤…≤‖X_(nn)-X‖,and break ties by comparing indices. Choose positive integer k. Denote by θ_(ni) the θ-value associated with X_(ni), i. e., θ_(ni) =θ_j when X_(ni)=X_j. Under the square loss L(θ,α)=     

下标降序法最近邻判别分析

§1 引言设(X_1,θ_1),…,(X_n,θ_n),(X,θ)为在R~d×{1,…,M}上取值的i.i.d.随机向量。问题是要利用X的观察值及历史样本(X_i,θ_i),i=1,…,n对类别变量θ进行判别。假定在R~d上给定了某一距离函数p(·,·)(比如欧氏距离等),那么可按照诸X_i与X的距离由小到大把诸X_i重新排列为X_(R1),X_(R2),…,X_(R_n,相应的θ_i也被排列为θ_(R1),θ_(R2),…,θ_(Rn)。若采用θ_(R1)来判别θ,这就是所谓的最近邻判别法。Derroye,Wagner,Fritz,陈希孺及白志     

经验Bayes估计渐近理论中的若干未决问题

这里介绍Singh在[3]中提出的关于经验Bayes估计的渐近理论的几个猜测,及某些有关问题。 设有绝对连续的一维指数分布族 dP_θ(x)=f_θ(x)dx=C(θ)~(θx)h(x)dx,θ∈ 为R~1上的一有限或无限区间。假定取平方损失L(a,θ)=(a-θ)~2θ有先验分布G.θ的Bayes估计记为d_G=d_G(x),其Bayes风险记为B(G). 设有历史样本X_1,…,X_n,当前样本X。按经验Bayes理论的基本假定,X_1,…,X_,(X,θ)相互独立,且每个X_i的分布与X的边缘分布相同。任一同时依赖于X_19,…,X_n和X的估计d_n=d_n(X_1,…,X_n,X)称为θ的一经验Bayes估计,其Bayes风险定义为     

非参数回归核估计的强相合性

一、引言 设(X,Y),(X_1,Y_1),…,(X_n,Y_n)为取值R~d×R的i.i.d变量,以F记X的分布,Y对X的回归函数为m(x)=E(Y|X=x)。(1)最近,一些作者讨论了回归函数的估计问题。一类非参数核估计定义为     

随机化最近邻判别分析中错误概率估计的极限性质

设(X,θ)是取值于 R~d×{1,…,M)的随机向量.我们分别称 X 与θ为指标变量和类别变量.又设 Z~n(?){(X_i,θ_i),i=1,…,n}为(X,θ)的 iid.样本,称之为训练样本.判别分析的问题就是要依据 Z~n 及 X 的观察值对θ进行判别.假定在 R~d 中引进了某一距离ρ(x,y),x,y∈R~d.于是当 X=x 给定时,我们可按照距离ρ(x,X_j),j=1,…,n,的上升秩序,把 X_1,…,X_n 重新排列成 X_((R)_1),…,     

THE STRONG CONSISTENCY OF ERROR PROBABILITY ESTIMATES IN NN DISCRIMINATION

Let(X,θ),(X_1,θ_1),…,(X_n,θ_n)be iid.R~d×{1,2,…,s}-valued random vectors and letL_n be the posterior error probability in NN(nearest neighbor).diserimination.Someknowledge of the unknown value of L_n is of great meaning in many applications.For thisaim,in 1971,T.J.Wagner introduced an estimate of L_n which is defined by_n=1/nI(θ_j≠θ_(nj)),where θ_(nj) is the NN discrimination of θ_j based on the training samples(X_1,θ_1),…,(X_(j-1),θ_(j-1)),(X_(j+1),θ_(j+1)),…,(X_n,θ_n).Then he showed that _nR,where R is the limit ofthe prior error probability.But the problem of“)nR” is still left open since thattime.In this paper,it is shown that for any s>0,there exist two positive constants a andC such that P(丨_n-R丨≥ε)≤Ce~(-an).By this it is clear that _nR.     

正态一次、二次顺序统计量的分布和矩的渐近性质

本文恒以F(x)、f(x)表示标准正态分布函数及密度函数,又记t=u_n,即1-F(t)=1/n。设X_1、X_2、…、X_3为i.i.d,X_1～N(0,1),以X(n,1)、X(n,2)、…、X(n,n)表示其从大到小的顺序统计量。又设X_(11)、…、X_(1n);……;X_(m1)、…、X_(mn)为i.i.d,X_(11)～N(0,1),以     

非参数回归模型中回归函数的估计的渐近性质

§1.引言 考虑下列的回归模型:Y在X=x的条件之下的分布密度为f(y|X=x)=p(y-θ(x)),(1.1)其中p(y)满足条件回归函数θ(x)为下列集合的成员之一存在,x∈U},(1.3)其中U是一个开区间,θ~(p)(x)表示θ(x)的p阶导数。又设随机变量X的分布密度为q(x),它在X的支撑U上为连续正函数。现在设(X_1,Y_1),…,(X_n,Y_n)是(X,Y)的     

关于二次插值样条误差的一个最佳估计

设△_n={i/n=xi}是区间[0,1]上的等距分划,h=1/n,s(x)是△_n上的二次周期样条,即s(x)∈C~1[0,1],在每一区间[x_i,x_i+1]上是二次多项式,并且s(0)=S(1),S＇(0)=S＇(1). 又设f(x)∈C[0,1],满足f(0)=f(1),据此可以认为f(x)是以1为周期的连续函数.记f_i=f(xi),fi-1/2=f(xi-n/2),则由条件 si-1/2=fi-1/2,i=1,2,…,n,     

关于Lagrange插值平均收敛的注记

Ⅰ 设w(x)是区间[-1,1]上的权函数,{φ_n(x)}是相应的正交多项式序列,用X:-10,寻找一个附加节点系:     

非参数回归函数核估计的收敛速度

<正> §1.引言及记号设(Y,X),(Y_1,X_1),…,(Y_n,X_n)为 iid.(1+d)维随机向量,E(|Y|)<∞,m(x)=E(Y|X=x)为回归函数.Watson,Nadaraya 首先提出的基于样本(Y_1,X_1),…,(Y_n,X_n)的 m(x)的核估计为     

多参数同时估计的容许性

令 X_1,…,X_n 是一串独立随机变量,且 X_1～P_(θ_i)θ_i∈(?)_i,(i=1,2,…,n),假设估计θ_i 的损失函数为 L(θ_i,d_i),δ_i(X_i)是仅依赖 X_i,θ_i 的一个容许估计(i=1,2,…,n).现在我们要同时估计(θ_1,…,θ_n)′(?)θ,其损失函数取为 sum from i=1 to n L(θ_i,d_i),那么(δ_i(X_1),…,δ_n(X_n))′是θ的容许估计吗?早在50年代,Stein 就证明了,在 n≥3,X_i～N(θ_i,1),L(θ_i,d_i)=(θ_i-d_i)~2条件下,上述结论不成立.近20余年,很多作者也研究了这个问题,指出 Stein 的现象对许多分布,例如 Poisson 分布,Gama 分布,负二项分布及位置参数估计皆存在.但在什么条件下,(δ,(X_1),…,δ_n(X))′是容许的则很少研究,仅仅有少数特殊情况下的结果(见[3]).本文给出了相当一般的充分条件(定理1.1),利用定理1.1,研究了 L(θ_i,d_i)=λ(θ_i)(g(θ_i)-d_i)~2时,结论成立的充分条件(定理2.1).还给出了多个位置参数,Pitman 估计为容许的充分条件.最后一节给出了五个具体例子,它包括在平方损失下,多个正态密度及分布函数的容许估计;参数自然区间 为有限区间之指数族分布,在平方损失下,同时估计多个均值的线性容许估计;若 X_i～Poisson 分布 P_(2_i),i=1,2,…,n(a_1x_1,…,a_nx_n)′在损失函数sum from i=1 to n