THE STRONG CONSISTENCY OF ERROR PROBABILITY ESTIMATES IN NN DISCRIMINATION

Let(X,θ),(X_1,θ_1),…,(X_n,θ_n)be iid.R~d×{1,2,…,s}-valued random vectors and letL_n be the posterior error probability in NN(nearest neighbor).diserimination.Someknowledge of the unknown value of L_n is of great meaning in many applications.For thisaim,in 1971,T.J.Wagner introduced an estimate of L_n which is defined by_n=1/nI(θ_j≠θ_(nj)),where θ_(nj) is the NN discrimination of θ_j based on the training samples(X_1,θ_1),…,(X_(j-1),θ_(j-1)),(X_(j+1),θ_(j+1)),…,(X_n,θ_n).Then he showed that _nR,where R is the limit ofthe prior error probability.But the problem of“)nR” is still left open since thattime.In this paper,it is shown that for any s>0,there exist two positive constants a andC such that P(丨_n-R丨≥ε)≤Ce~(-an).By this it is clear that _nR.     

渐近Bayes判别

<正> 一、引言设(θ,X),(θ_1,X_1),…,(θ_n,X_n)为 iid 随机变量,其中 X 取值于只 R~d(d≥1),θ只取0,1两个值,记 P(θ=0)=η_0,P(θ=1)=η_1=1-η_0,设 X 在给定θ=i 时的条件密度为 f_i(x)dx,i=0,1.(θ_1,X_1),…,(θ_n,X_n)是已知的样本,常称为训练样本,在实际应用上,常需借助于它们,以根据 X 之观测值,对θ的值做出判別.记 f(x)=η_0f_0(x)+η_1f_1(x),则后验概率为     

方差估计的随机加权逼近及随机加权法在抽样调查中的初步应用

设X_1,X_2,…是一组独立同分布的随机变量序列,其方差μ_2是待估参数,当x_4,i=1,2,…,n,给定下,用D_n=sum from i=1 to n(V_(ni)(X_i-sum from i=1 to n(V_(ni)X_i)~2)-1/n sum from i=1 to n(X_i-X)~2的条件分布来渐近T_n=(1/n)sum from i=1 to n(X_i-X)~2-μ_2的分布。这里D_n中的V_(ni),i=1,2,…,n,是服从 Dirichlet分布D(4,4,…,4)的随机变量。若记 F_n和F_n~*分别是T_n/(VarT_n)~(1/2)的分布和D_n/(Var~*D_n)~(1/2)的条件分布,其中Var~*D_n是关于X_1,X_2,…的条件方差。则在一定条件下,对几乎所有的样本序列X_1,X_2,…, (i)n~(1/2)D_n→N(0,μ_4-μ_2~2) 其中μ_4=E(X_1-μ)~4,μ=EX_1 ii)n(1/2)sup|F_n~*(y)-F_n(y)|=0(1) iii) lim sup |F_n~*(y)-F_n(y)|=0 最后,本文对随机加权法如何应用于抽样调查之中,进行了一个初步的尝试。     

一般损失下k近预测条件风险的指数界

<正> 设(X,θ)为R~d×R~1上随机变量.(X_1,θ_1),…,(X_n,θ_n)为它的独立同分布样本.设X的值已观测,记Z_n=((X_1,θ_1),…,(X_n,θ_n)),要用X和Z_n的值去预测θ的值.设‖·‖为R~d中欧氏距离或最大分量模距离,将X_1,…,X_n重排为X_(n1),…,X_(nn).使得‖X_(n1)‖-X‖≤‖X_(n2)-X‖≤…≤‖X_(nn)-X‖,以θ_(n1),…,θ_(nn)记相应的匹     

下标降序法最近邻判别分析

§1 引言设(X_1,θ_1),…,(X_n,θ_n),(X,θ)为在R~d×{1,…,M}上取值的i.i.d.随机向量。问题是要利用X的观察值及历史样本(X_i,θ_i),i=1,…,n对类别变量θ进行判别。假定在R~d上给定了某一距离函数p(·,·)(比如欧氏距离等),那么可按照诸X_i与X的距离由小到大把诸X_i重新排列为X_(R1),X_(R2),…,X_(R_n,相应的θ_i也被排列为θ_(R1),θ_(R2),…,θ_(Rn)。若采用θ_(R1)来判别θ,这就是所谓的最近邻判别法。Derroye,Wagner,Fritz,陈希孺及白志     

在K—NN判别和预测中条件风险函数的估计量的强收敛性

设(θ,x),(θ_1,x_1),……,(θ_n,x_n)是独立同分布的随机向量,θ_(j 1)~((k))(θ_(k 1)~((k)))是(θ_1,x_1),……,(θ_i,x_i)和x_(j 1)对θ_(j 1)的K—NN判别(预测)值。本文用来作为L_n~((k)))的估计,并讨论了其强收敛性,即在很一般的条件下,证明了:其中L_u~((k))(L_u~((k)))是K—NN判别(预测)的条件风险函数,■     

最近邻判别法中错误概率估计的强收敛速度(英文)

本文考虑最近邻判别法中错误概率估计的强收敛速度.设(X,θ),(X_1,θ_1),…,(X_n,θ_n)为取值于 R~m×{1,2,…,M}的 i.i.d.样本,m≥1,M≥2为正整数.记θ′_n 为θ的最近邻判别,错判概率 R_n=p(θ′_n≠θ),恒有(?)R_n=R.(?)_n 为基于 X,并借助于训练样本(X_1,θ_1),…,(X_nθ_n)的 R_n 的估计量.我们证明了在一组条件下,及对适当选取的α>0,有(?)_n-R=0(1/(n~α)).     

多参数同时估计的容许性

令 X_1,…,X_n 是一串独立随机变量,且 X_1～P_(θ_i)θ_i∈(?)_i,(i=1,2,…,n),假设估计θ_i 的损失函数为 L(θ_i,d_i),δ_i(X_i)是仅依赖 X_i,θ_i 的一个容许估计(i=1,2,…,n).现在我们要同时估计(θ_1,…,θ_n)′(?)θ,其损失函数取为 sum from i=1 to n L(θ_i,d_i),那么(δ_i(X_1),…,δ_n(X_n))′是θ的容许估计吗?早在50年代,Stein 就证明了,在 n≥3,X_i～N(θ_i,1),L(θ_i,d_i)=(θ_i-d_i)~2条件下,上述结论不成立.近20余年,很多作者也研究了这个问题,指出 Stein 的现象对许多分布,例如 Poisson 分布,Gama 分布,负二项分布及位置参数估计皆存在.但在什么条件下,(δ,(X_1),…,δ_n(X))′是容许的则很少研究,仅仅有少数特殊情况下的结果(见[3]).本文给出了相当一般的充分条件(定理1.1),利用定理1.1,研究了 L(θ_i,d_i)=λ(θ_i)(g(θ_i)-d_i)~2时,结论成立的充分条件(定理2.1).还给出了多个位置参数,Pitman 估计为容许的充分条件.最后一节给出了五个具体例子,它包括在平方损失下,多个正态密度及分布函数的容许估计;参数自然区间 为有限区间之指数族分布,在平方损失下,同时估计多个均值的线性容许估计;若 X_i～Poisson 分布 P_(2_i),i=1,2,…,n(a_1x_1,…,a_nx_n)′在损失函数sum from i=1 to n     

一个不等式猜想的证明

对于正数ai>0,i=1,2,…,n,k为给定的正整数,若∑ni=1ai=1,笔者在文[1]末提出了猜想:∏n-1i=1(1∑kj=1ai j-∑nj=k 1ai j)≥(nk kn-1)n(1)其中an i=ai(i=1,2,…,n-1),k为常数,且0相似文献   

可换序列上,下极值的联合渐近分布

设X_(j,n),1≤j≤N,n=1,2,… 为一r.v.三角阵,X_(1,n),…,X_(N,n)的顺序统计量为 X_(1,n)~*≤X_(2,n)~*≤… ≤X_(N,n)~* [1]考虑了两种情况:(i)N=n,X_(1,n),…,X_(n,n)为可换r.v.无穷序列的一段及(ii)X_(1,n),…,X_(N,n)为i.i.d.r.v.,N=N(n,ω) 为与这些X_(j,n)独立的正整值r.v.,并给出     

一种方式分组随机模型中估计方差分量的最小风险设计

§1.引言一种方式分组随机模型:y_(ij)=β α_i ε_(ij),i=1,…,n,j=1,…,m_i,(1.1)其中 ε_(ij)(i=1,…,n,j=1,…,m_i)是相互独立的随机误差,α_i(i=1,…,n)是独立的随机变量.Eα_i=Eε_(ij)=0,varε_(ij)=θ_1>0,varα_i=θ_2≥0,cov(α_i,ε_(ij))=0.β、θ_1、θ_2是未知参数,β∈R~1,(θ_1,θ_2)~T∈Θ(?){θ_1>0,θ_2≥0}.     

EXPONENTIAL BOUNDS OF POSTERIOR RISK FOR k-NN PREDICTION

Let (X,θ),(X_1,θ_1),…,(X_n,θ_n) be R~d×R~1-valued random vectors, it is desired to predict the value of θ, based on the observed value of X and with the help of the training sample Z~n={(X_i,θ_i), i=1,…,n}. Cover(1) used the k-Nearest Neighbor method to this problem, the method is as follows: Introduce a metric ‖X-Y‖ in R_d. Rearrange X_1,…,X_n into X_(n1),…, X_(nn), such that ‖X_(n1)-X‖≤ ‖X_(n2)-X‖≤…≤‖X_(nn)-X‖,and break ties by comparing indices. Choose positive integer k. Denote by θ_(ni) the θ-value associated with X_(ni), i. e., θ_(ni) =θ_j when X_(ni)=X_j. Under the square loss L(θ,α)=     

近邻预测风险的收■性

§1 引言和结果设(X,θ)是一个取值于 R~d×R~l 的随机向量,对其分布一无所知。(X_1,θ_1),…,(X_n,θ_n)为(X,θ)的观察样本。假定(X,θ)(X_1,θ_t),…,(X_n,θ_n)是独立同分布(iid.)的。设已有了 X 的观察值 x,但θ之值未观察。要依据样本(X_i,θ_i),i=1,…,n,及 X 的已知值 x,去预测θ的值。由于对(X,θ)的分布无所知,这个问题是非参数性的,通常的线性回归方法等都不适用。有一种简单而比较实用的非参数方法,叫近邻预测法,其法如下:先按与 x 的距离     

随机化最近邻判别分析中错误概率估计的极限性质

设(X,θ)是取值于 R~d×{1,…,M)的随机向量.我们分别称 X 与θ为指标变量和类别变量.又设 Z~n(?){(X_i,θ_i),i=1,…,n}为(X,θ)的 iid.样本,称之为训练样本.判别分析的问题就是要依据 Z~n 及 X 的观察值对θ进行判别.假定在 R~d 中引进了某一距离ρ(x,y),x,y∈R~d.于是当 X=x 给定时,我们可按照距离ρ(x,X_j),j=1,…,n,的上升秩序,把 X_1,…,X_n 重新排列成 X_((R)_1),…,     

等距节点三角插值的Lebesgue常数的渐近展开

设 f(x)是以2π为周期的一个周期函数,我们知道对于[0,2π]上的2n 1个节点 θ_k=k(2π/(2n 1)),k=0,1,2,…,2n,(1)存在唯一的n次三角多项式L_n(f,θ),满足L_n(f,θ_k)=f(θ_k),k=0,1,2,…,2n。这里     

由谱数据数值稳定地构造实对称带状矩阵

§1.引言 设r,n是正整数并且0r有a_(ij)=0.     

条件L泛函的核估计及其Bootstrap逼近

设(X,y)为取值于 R~d×R~1的随机变量,X 具有边缘分布 F(x),Y 关于 X 的条件分布为 F(y|x).对于条件 L 泛函θ_1(x)=integral from n=0 to 1 J(y)F~(-1)(y|x)dy(1)θ(x)=integral from n=0 to 1 J(y)F~(-1)(y|x)dy+sum from j=1 to k a_jF~(-1)(p_j|x)(2)在[1]中曾给出了它们的近邻估计,并讨论了估计的渐近性质(其中 F~(-1)(x)=inf{t:F(t)≥x}).在本文中,我们将用核函数方法构造它们的另一类估计,并讨论估计的一些渐近性质.设(X_1,Y_1),(X_2,Y_2),…是(X,Y)的一个样本列,取 w_n_i(x)=K((x-X_i)/h_n)/sum from i=1 to n K((x-X_i)/h_n),其中 K 为 R~d 上的概率密度函数,并有0相似文献   

关于一类随机矩阵特征根极限分布的注记

一 引言 考虑k个p维总体X_1,X_2,…,X_k。假定它们都服从正态分布,其均值向量分别是(ξ_(1i),ξ_(2i),…,ξ_(pi)),i=1,2,…,k,且具有共同的协方差矩阵∑=(σ_(ij)),i,j=1,2,…,p。考虑矩阵     

全矩阵环的一类基

设P是一个域,Fij(i,j=1,2,…,n)是全矩阵环Mn(P)中n2个n×n矩阵,且满足FijFkl=δjkFil(i,j,k,l=1,2,…,n),其中δij={1,i=j0,i≠j为Kronecker符号.则或者所有Fij(i,j=1,2,…,n)全为零,或者存在可逆矩阵T∈Mn(P),使得Fij=T-1EijT(i,j=1,2,…,n),其中Eij表示(i,j)位置是1,     

可靠性增长试验中一类结构可靠度的统计分析

设X_(i1),X_(i2)……,X(in),是X_i的随机样本(i=1,2,…,m),且这些样本间是相互独立的,又设X_i～N(θ_i,δ_i~2)(θ_i与δ_i未知),且对某一常数c有P(X_1>c)≤P(X_2>c)≤…≤P(X_m>(?)基于上述样本,文中给出P(X_m>c)的点估计和在某种意义下最优的置信下限。