下标降序法最近邻判别分析

§1 引言设(X_1,θ_1),…,(X_n,θ_n),(X,θ)为在R~d×{1,…,M}上取值的i.i.d.随机向量。问题是要利用X的观察值及历史样本(X_i,θ_i),i=1,…,n对类别变量θ进行判别。假定在R~d上给定了某一距离函数p(·,·)(比如欧氏距离等),那么可按照诸X_i与X的距离由小到大把诸X_i重新排列为X_(R1),X_(R2),…,X_(R_n,相应的θ_i也被排列为θ_(R1),θ_(R2),…,θ_(Rn)。若采用θ_(R1)来判别θ,这就是所谓的最近邻判别法。Derroye,Wagner,Fritz,陈希孺及白志     

渐近Bayes判别

<正> 一、引言设(θ,X),(θ_1,X_1),…,(θ_n,X_n)为 iid 随机变量,其中 X 取值于只 R~d(d≥1),θ只取0,1两个值,记 P(θ=0)=η_0,P(θ=1)=η_1=1-η_0,设 X 在给定θ=i 时的条件密度为 f_i(x)dx,i=0,1.(θ_1,X_1),…,(θ_n,X_n)是已知的样本,常称为训练样本,在实际应用上,常需借助于它们,以根据 X 之观测值,对θ的值做出判別.记 f(x)=η_0f_0(x)+η_1f_1(x),则后验概率为     

最近邻预测问题中条件风险估计的强收敛速度

设(X_4,θ_4),i=1,2,…,n,是d 1维随机向量(X,θ)的iid.样本。又设L_n是平方损失下最近邻(简记为NN)预测在给定(X_4,θ_4),i=1,2,…n条件下的风险。众所周知,在一定条件下L_n→2E~*,a.s.,这里R~*表示Bayes风险。L_n的NN估计定义为其中θ_(nj)表示以(X_1,θ_1),…,(X_(j-1),θ_(j-1),(X_(j 1),θ_(j 1),…,(X_n,θ_n)为训练样本时,通过X_j=x_j对θ_j所做的NN预测。本文在E|θ|~(2 δ)<∞(δ>0)以及其他一些条件下证明了其中ξ是一个事先任意给定的近于0的正常数。     

一般损失下k近预测条件风险的指数界

<正> 设(X,θ)为R~d×R~1上随机变量.(X_1,θ_1),…,(X_n,θ_n)为它的独立同分布样本.设X的值已观测,记Z_n=((X_1,θ_1),…,(X_n,θ_n)),要用X和Z_n的值去预测θ的值.设‖·‖为R~d中欧氏距离或最大分量模距离,将X_1,…,X_n重排为X_(n1),…,X_(nn).使得‖X_(n1)‖-X‖≤‖X_(n2)-X‖≤…≤‖X_(nn)-X‖,以θ_(n1),…,θ_(nn)记相应的匹     

EXPONENTIAL BOUNDS OF POSTERIOR RISK FOR k-NN PREDICTION

Let (X,θ),(X_1,θ_1),…,(X_n,θ_n) be R~d×R~1-valued random vectors, it is desired to predict the value of θ, based on the observed value of X and with the help of the training sample Z~n={(X_i,θ_i), i=1,…,n}. Cover(1) used the k-Nearest Neighbor method to this problem, the method is as follows: Introduce a metric ‖X-Y‖ in R_d. Rearrange X_1,…,X_n into X_(n1),…, X_(nn), such that ‖X_(n1)-X‖≤ ‖X_(n2)-X‖≤…≤‖X_(nn)-X‖,and break ties by comparing indices. Choose positive integer k. Denote by θ_(ni) the θ-value associated with X_(ni), i. e., θ_(ni) =θ_j when X_(ni)=X_j. Under the square loss L(θ,α)=     

Sufficient And Necessary Condition For Convergence of Conditional Error Probability in NN-Pattern Discrimination

Let (θ_1,X_1),…, (θ_n,X_n), (θ, X) be iid random vectors ,where θ∈{0,1},X∈R~d Denote by θ′_n the nearest neighbour discriminator of θ based on the training samples (θ_1,X_1),…, (θ_n,X_n) and the observed X; put and This paper gives a sufficient and necessary condition for as n→∞, namely (P(θ=0, X=x)-P(θ=1, X=x))~2·P(θ=0, X=x)·P(θ=1, X=x)=0 for every x∈R~d.This generalizes a previous result of the authors [5] and improves a result of Wagner, T.J. [2].     

THE CONVERGENCE RATES OF ASYMPTOTICALLY BAYES DISCRIMINATION

§1. Introduction and Main Results Let (X,θ), (X_1, θ~1), …, (X_n, θ_n) be R~d×{0, 1} valued independent identically distributed (iid) random variables (r. v.), with P (θ=1)=P_1 and P(θ=0)=p0=1-p1. Let the conditional density function of X given θ=i be f_i(x)dx, i=0, 1. (X_1, θ_1), …, (X_n, θ_n) are known     

THE CONVERGENCE RATES OF ASYMPTOTICALLY BAYES DISCRIMINATION

§1. Introduction and Main Results Let (X, θ), (X_1, θ_1), ..., (X_n, θ_n) be R~d×{0, 1} valued independent identically distributed (iid) random variables (r. v.), with P(θ=1)=p_1 and P(θ=0)=p_0=1-p_1. Let the conditional density function of X given θ=i be f_i(x)dx, i=0, 1. (X_1, θ_1),..., (X_n, θ_n) are known     

近邻预测风险的收■性

§1 引言和结果设(X,θ)是一个取值于 R~d×R~l 的随机向量,对其分布一无所知。(X_1,θ_1),…,(X_n,θ_n)为(X,θ)的观察样本。假定(X,θ)(X_1,θ_t),…,(X_n,θ_n)是独立同分布(iid.)的。设已有了 X 的观察值 x,但θ之值未观察。要依据样本(X_i,θ_i),i=1,…,n,及 X 的已知值 x,去预测θ的值。由于对(X,θ)的分布无所知,这个问题是非参数性的,通常的线性回归方法等都不适用。有一种简单而比较实用的非参数方法,叫近邻预测法,其法如下:先按与 x 的距离     

THE STRONG CONSISTENCY OF ERROR PROBABILITY ESTIMATES IN NN DISCRIMINATION

Let(X,θ),(X_1,θ_1),…,(X_n,θ_n)be iid.R~d×{1,2,…,s}-valued random vectors and letL_n be the posterior error probability in NN(nearest neighbor).diserimination.Someknowledge of the unknown value of L_n is of great meaning in many applications.For thisaim,in 1971,T.J.Wagner introduced an estimate of L_n which is defined by_n=1/nI(θ_j≠θ_(nj)),where θ_(nj) is the NN discrimination of θ_j based on the training samples(X_1,θ_1),…,(X_(j-1),θ_(j-1)),(X_(j+1),θ_(j+1)),…,(X_n,θ_n).Then he showed that _nR,where R is the limit ofthe prior error probability.But the problem of“)nR” is still left open since thattime.In this paper,it is shown that for any s>0,there exist two positive constants a andC such that P(丨_n-R丨≥ε)≤Ce~(-an).By this it is clear that _nR.     

多参数同时估计的容许性

令 X_1,…,X_n 是一串独立随机变量,且 X_1～P_(θ_i)θ_i∈(?)_i,(i=1,2,…,n),假设估计θ_i 的损失函数为 L(θ_i,d_i),δ_i(X_i)是仅依赖 X_i,θ_i 的一个容许估计(i=1,2,…,n).现在我们要同时估计(θ_1,…,θ_n)′(?)θ,其损失函数取为 sum from i=1 to n L(θ_i,d_i),那么(δ_i(X_1),…,δ_n(X_n))′是θ的容许估计吗?早在50年代,Stein 就证明了,在 n≥3,X_i～N(θ_i,1),L(θ_i,d_i)=(θ_i-d_i)~2条件下,上述结论不成立.近20余年,很多作者也研究了这个问题,指出 Stein 的现象对许多分布,例如 Poisson 分布,Gama 分布,负二项分布及位置参数估计皆存在.但在什么条件下,(δ,(X_1),…,δ_n(X))′是容许的则很少研究,仅仅有少数特殊情况下的结果(见[3]).本文给出了相当一般的充分条件(定理1.1),利用定理1.1,研究了 L(θ_i,d_i)=λ(θ_i)(g(θ_i)-d_i)~2时,结论成立的充分条件(定理2.1).还给出了多个位置参数,Pitman 估计为容许的充分条件.最后一节给出了五个具体例子,它包括在平方损失下,多个正态密度及分布函数的容许估计;参数自然区间 为有限区间之指数族分布,在平方损失下,同时估计多个均值的线性容许估计;若 X_i～Poisson 分布 P_(2_i),i=1,2,…,n(a_1x_1,…,a_nx_n)′在损失函数sum from i=1 to n     

相依误差下回归系数 LS 估计的收敛速度

其中 x(ij)(j=1,…,p,i=1,2,…)是已知常数,常称之为模型(1)的设计常数或设计点列,β_1,…,β_p,为未知的回归系数,y_i,e_i 分别为第 i 次量测时的量测值和量测随机误差。以下,我们记设计矩阵(x_(ij))(?)≤(?)≤n,(?)≤j p 为 X_n,Y_n=(y_1,…,y_n)′,β=(β_1,…,β_p)′.并假定对某N,X′_N X_N 非退化,那么当 n≥N 时,X′_n X_n 亦非退化,且回归系数β的基于前 n 次量测值 Y_(?)及设计矩阵 X_(?)的最小二乘估计(通常简记为 LS 估计) b_(?)=(b_(?)1, …,b_((?)p)'为     

随机化最近邻判别分析中错误概率估计的极限性质

设(X,θ)是取值于 R~d×{1,…,M)的随机向量.我们分别称 X 与θ为指标变量和类别变量.又设 Z~n(?){(X_i,θ_i),i=1,…,n}为(X,θ)的 iid.样本,称之为训练样本.判别分析的问题就是要依据 Z~n 及 X 的观察值对θ进行判别.假定在 R~d 中引进了某一距离ρ(x,y),x,y∈R~d.于是当 X=x 给定时,我们可按照距离ρ(x,X_j),j=1,…,n,的上升秩序,把 X_1,…,X_n 重新排列成 X_((R)_1),…,     

刀切Von-Mises统计量

设 X_1、X_2,…,X_n…为一系列独立同分布的随机变量,它们服从分布 F_θ。设(?)(x_1,x_2,…x_m)是关于 m 个变元 x_1,…x_m 对称的函数。定义以(?)为核的 U-统计量为U_n:(?)~(-1)∑_1≤α_1<…<α_m≤n(?)(X_α_1,…,X_α_m) (n≥m) (1)相应的 Von-Mises 统计量为     

一种方式分组随机模型中估计方差分量的最小风险设计

§1.引言一种方式分组随机模型:y_(ij)=β α_i ε_(ij),i=1,…,n,j=1,…,m_i,(1.1)其中 ε_(ij)(i=1,…,n,j=1,…,m_i)是相互独立的随机误差,α_i(i=1,…,n)是独立的随机变量.Eα_i=Eε_(ij)=0,varε_(ij)=θ_1>0,varα_i=θ_2≥0,cov(α_i,ε_(ij))=0.β、θ_1、θ_2是未知参数,β∈R~1,(θ_1,θ_2)~T∈Θ(?){θ_1>0,θ_2≥0}.     

T-UNIFORM AMARTS AND ALMOST SURE CONVERGENCE IN BANACH SPACE

§1. Introduction Let ((Ω, (?), p) be a probability space, E be a separable Banach space with norm ||·||, and let (X_n, (?)_n)_(n≥1) be an E-valued adapted sequence, i.e., ((?)_n)_(n≥1) is a family of increasing sub-σ-algebras of (?) and X_n is a strongly (?)_n-measurable E-valued random variable (n≥1).     

经验Bayes估计渐近理论中的若干未决问题

这里介绍Singh在[3]中提出的关于经验Bayes估计的渐近理论的几个猜测,及某些有关问题。 设有绝对连续的一维指数分布族 dP_θ(x)=f_θ(x)dx=C(θ)~(θx)h(x)dx,θ∈ 为R~1上的一有限或无限区间。假定取平方损失L(a,θ)=(a-θ)~2θ有先验分布G.θ的Bayes估计记为d_G=d_G(x),其Bayes风险记为B(G). 设有历史样本X_1,…,X_n,当前样本X。按经验Bayes理论的基本假定,X_1,…,X_,(X,θ)相互独立,且每个X_i的分布与X的边缘分布相同。任一同时依赖于X_19,…,X_n和X的估计d_n=d_n(X_1,…,X_n,X)称为θ的一经验Bayes估计,其Bayes风险定义为     

指标在T_θ~d上变动的B-值I.I.D.R.V.’S的叠对数律

记B是可分Banach空间,X是B-值随机变量,N~d={■=n_1,…,n_d);n_i=1,2,…,i=1,…,d},T_θ~d={■∈=(n_1,…,n_d),θn_i≤n_y≤θ~(-1)n_4,i≠j,i,j=1,…,d},其中d≥2,0<1。本文研究指标在T_θ~d上变动的B-值i. i. d. r. v. ’s的四种类型的叠对数律(即BLIL~(θ,α)_1,BLIL~(θ,d)_2CLIL~(θ.D)_1和GLIL~(θ,d)_2,获得了X∈BLIL~(θ,α)_1、X∈BLIL~(θ,d)_2、X∈GLIL~(θ,d)_1和X∈GLIL~(θ,d)_2的充要条件。     

方差分量的 Bayes 二次不变估计及容许性

设计线性模型nn1/Y=XB ε（1）其中 E_ε=0,Eεε′=θ_1v_1 … θ_p v_P(?)v_0≥0,v_1,…,v_p 为已知对称矩阵,X 为已知矩阵,β、θ(?)(θ_1,…,θ_p)′为未知参数,进一步我们假定ε有有限四阶矩,记为 E(εε′(?)εε′)=ψ.设f′θ(?)f_1θ_1 … f_pθ_p,并且 f′θ是无偏不变二次可估的(即存在对称矩阵 A 满足AX=0使 EY′AY=f′θ).对这样的f′θ,C.R.Rao 提出用 MINQE(U,I)来估计 f′θ.但是一般地 f′θ的 MINQE(U,I)依赖于θ的先验值α.如果θ的真值与它的先验值不符,     

回归函数改良核估计的强相合性及收敛速度

令(X,Y),(X_1,Y_1),…,(x_n,Y_n)为R~p×R~1上一串i.i.d。随机向量,且E(|Y|)<∞。研究如何利用(X_1,Y_1),…,(X_n,Y_n)观察的结果估计回归函数 m(x)=E(Y|X=x),称为非参数回归函数估计问题。Watson和Nadaraya首先建议用核估计