下标降序法最近邻判别分析

§1 引言设(X_1,θ_1),…,(X_n,θ_n),(X,θ)为在R~d×{1,…,M}上取值的i.i.d.随机向量。问题是要利用X的观察值及历史样本(X_i,θ_i),i=1,…,n对类别变量θ进行判别。假定在R~d上给定了某一距离函数p(·,·)(比如欧氏距离等),那么可按照诸X_i与X的距离由小到大把诸X_i重新排列为X_(R1),X_(R2),…,X_(R_n,相应的θ_i也被排列为θ_(R1),θ_(R2),…,θ_(Rn)。若采用θ_(R1)来判别θ,这就是所谓的最近邻判别法。Derroye,Wagner,Fritz,陈希孺及白志     

随机化最近邻判别分析中错误概率估计的极限性质

设(X,θ)是取值于 R~d×{1,…,M)的随机向量.我们分别称 X 与θ为指标变量和类别变量.又设 Z~n(?){(X_i,θ_i),i=1,…,n}为(X,θ)的 iid.样本,称之为训练样本.判别分析的问题就是要依据 Z~n 及 X 的观察值对θ进行判别.假定在 R~d 中引进了某一距离ρ(x,y),x,y∈R~d.于是当 X=x 给定时,我们可按照距离ρ(x,X_j),j=1,…,n,的上升秩序,把 X_1,…,X_n 重新排列成 X_((R)_1),…,     

K-近邻预测后验风险的指数限

设(X,θ),(X_i,θ_i),i=1,…,n,为iid随机向量,取值于R~d×R~1.要根据X,借助于样本Z~n={(X_i,θ_i),i=1,…,n},去预测θ之值,Cover在[1]中把k近邻方法用于这个问题。其法如下:在R~d上引进距离‖x-y‖,把X_1,…,X_n按其与X的距离重排为(当等号出现时,可采用“足标小的排前”的原则),取定自然数k,     

近邻预测风险的收■性

§1 引言和结果设(X,θ)是一个取值于 R~d×R~l 的随机向量,对其分布一无所知。(X_1,θ_1),…,(X_n,θ_n)为(X,θ)的观察样本。假定(X,θ)(X_1,θ_t),…,(X_n,θ_n)是独立同分布(iid.)的。设已有了 X 的观察值 x,但θ之值未观察。要依据样本(X_i,θ_i),i=1,…,n,及 X 的已知值 x,去预测θ的值。由于对(X,θ)的分布无所知,这个问题是非参数性的,通常的线性回归方法等都不适用。有一种简单而比较实用的非参数方法,叫近邻预测法,其法如下:先按与 x 的距离     

平方损失下的最近邻预测理论

§1.引言 设在R~d×R~1(d≥1)取值的变量(x,θ),(x_i,θ_i),i=1,…,n相互独立,此处(X_i,θ_i)是已知样本,X之值已观测,而要依据它们去预测θ之值。引进平方损失(θ—a)~2,即用a去预测θ时,所蒙受的损失。 若知道了(x,θ)的联合分布,则风险最小的预测,即Bayes预测 δ(x)=E(θ|X=x),可无需求助于样本(X_i,θ_i),i=1,…,n而定出。当X=x时,此预测之后验风险     

多参数同时估计的容许性

令 X_1,…,X_n 是一串独立随机变量,且 X_1～P_(θ_i)θ_i∈(?)_i,(i=1,2,…,n),假设估计θ_i 的损失函数为 L(θ_i,d_i),δ_i(X_i)是仅依赖 X_i,θ_i 的一个容许估计(i=1,2,…,n).现在我们要同时估计(θ_1,…,θ_n)′(?)θ,其损失函数取为 sum from i=1 to n L(θ_i,d_i),那么(δ_i(X_1),…,δ_n(X_n))′是θ的容许估计吗?早在50年代,Stein 就证明了,在 n≥3,X_i～N(θ_i,1),L(θ_i,d_i)=(θ_i-d_i)~2条件下,上述结论不成立.近20余年,很多作者也研究了这个问题,指出 Stein 的现象对许多分布,例如 Poisson 分布,Gama 分布,负二项分布及位置参数估计皆存在.但在什么条件下,(δ,(X_1),…,δ_n(X))′是容许的则很少研究,仅仅有少数特殊情况下的结果(见[3]).本文给出了相当一般的充分条件(定理1.1),利用定理1.1,研究了 L(θ_i,d_i)=λ(θ_i)(g(θ_i)-d_i)~2时,结论成立的充分条件(定理2.1).还给出了多个位置参数,Pitman 估计为容许的充分条件.最后一节给出了五个具体例子,它包括在平方损失下,多个正态密度及分布函数的容许估计;参数自然区间 为有限区间之指数族分布,在平方损失下,同时估计多个均值的线性容许估计;若 X_i～Poisson 分布 P_(2_i),i=1,2,…,n(a_1x_1,…,a_nx_n)′在损失函数sum from i=1 to n     

可靠性增长试验中一类结构可靠度的统计分析

设X_(i1),X_(i2)……,X(in),是X_i的随机样本(i=1,2,…,m),且这些样本间是相互独立的,又设X_i～N(θ_i,δ_i~2)(θ_i与δ_i未知),且对某一常数c有P(X_1>c)≤P(X_2>c)≤…≤P(X_m>(?)基于上述样本,文中给出P(X_m>c)的点估计和在某种意义下最优的置信下限。     

一种非参数回归估计量的条件 平均绝对误差的指数收敛速度

<正> 设(X,Y),(X_1,Y_1),…,(X_n,Y_n)是取值于R~d×R~1的独立同分布随机变量,E|Y|<∞.以m(x)=E(Y|X=x)记Y对X的回归函数,Q记X的概率分布测度,Z_n记{(X_i,Y_i),i=1,…,n},它是(X,Y)的已知观测值.一般的非参数回归估计问题,就是对指定的x∈R~d,利用Z_n对m(x)进行估计.设θ=θ(x,Z_n)是这样一个估     

RS联合最佳逼近

1 引言 设X是Hausdorff空间,C(X)表示定义在X上的实连续函数全体组成的空间,λ_i>0(i=1,…,N)(1≤N≤+∞)。且sum from i=1 to n(λ_i)=1,再设X_i是X的紧子集(i=1,…,N),(?)X_i至少含有n+1个点,对f∈C(X_i)令     

渐近Bayes判别

<正> 一、引言设(θ,X),(θ_1,X_1),…,(θ_n,X_n)为 iid 随机变量,其中 X 取值于只 R~d(d≥1),θ只取0,1两个值,记 P(θ=0)=η_0,P(θ=1)=η_1=1-η_0,设 X 在给定θ=i 时的条件密度为 f_i(x)dx,i=0,1.(θ_1,X_1),…,(θ_n,X_n)是已知的样本,常称为训练样本,在实际应用上,常需借助于它们,以根据 X 之观测值,对θ的值做出判別.记 f(x)=η_0f_0(x)+η_1f_1(x),则后验概率为     

半参数回归模型小波估计的矩相合性

用小波方法,考虑半参数回归模型y_i=X_i~Tβ+g(t_i)+ε_i(1≤i≤n),其中β∈R~d为未知参数,g(t)为[0,1]上未知的Borel可测函数,X_i为R~d上的随机设计,随机误差{ε_i}为鞅差序列,{t_i}为[0,1]上的常数序列.得到参数及非参数的小波估计量的q-阶矩相合性.     

回归函数核估计的强相合性

设(X_i,Y_i),i=1,…,n是从取值于R~d×R~1的随机向量(X,Y)中抽取的iid.样本。设E|Y|<∞,而以m(x)=E(|Y|X=x)表示回归函数。在本文中,我们考虑m(x)的通常的和递推形式的核估计:其中K(x)假定是R~d上的概率密度,而h_n>0。我们在K(x)很弱的条件下建立了m_n~((i))(x)的a.s.收敛性,i=1,2,3,但是要求X的边际分布具有密度,这种情况曾在Schuster和Yakowitz中讨论过,那里,更要求(X,Y)的联合分布有概率密度。     

一般损失下k近预测条件风险的指数界

<正> 设(X,θ)为R~d×R~1上随机变量.(X_1,θ_1),…,(X_n,θ_n)为它的独立同分布样本.设X的值已观测,记Z_n=((X_1,θ_1),…,(X_n,θ_n)),要用X和Z_n的值去预测θ的值.设‖·‖为R~d中欧氏距离或最大分量模距离,将X_1,…,X_n重排为X_(n1),…,X_(nn).使得‖X_(n1)‖-X‖≤‖X_(n2)-X‖≤…≤‖X_(nn)-X‖,以θ_(n1),…,θ_(nn)记相应的匹     

平稳序列最近邻密度估计的相合性

设{X_n}_(n=1)~∞ 是 R~d 中平稳过程,具有公共的未知密度 f(x).本文并不假定{X_n)_(n=1)~∞ 是独立的,考察基于前 n 个观察值{X_i}_(i=1)~n 的f(x)的最近邻估计.在过程{X_n}_(n=1)~∞ 是φ混合或强混合的情形下,得到了逐点相合性、一致相合性以及收敛速度.     

EXPONENTIAL BOUNDS OF POSTERIOR RISK FOR k-NN PREDICTION

Let (X,θ),(X_1,θ_1),…,(X_n,θ_n) be R~d×R~1-valued random vectors, it is desired to predict the value of θ, based on the observed value of X and with the help of the training sample Z~n={(X_i,θ_i), i=1,…,n}. Cover(1) used the k-Nearest Neighbor method to this problem, the method is as follows: Introduce a metric ‖X-Y‖ in R_d. Rearrange X_1,…,X_n into X_(n1),…, X_(nn), such that ‖X_(n1)-X‖≤ ‖X_(n2)-X‖≤…≤‖X_(nn)-X‖,and break ties by comparing indices. Choose positive integer k. Denote by θ_(ni) the θ-value associated with X_(ni), i. e., θ_(ni) =θ_j when X_(ni)=X_j. Under the square loss L(θ,α)=     

一种方式分组随机模型中估计方差分量的最小风险设计

§1.引言一种方式分组随机模型:y_(ij)=β α_i ε_(ij),i=1,…,n,j=1,…,m_i,(1.1)其中 ε_(ij)(i=1,…,n,j=1,…,m_i)是相互独立的随机误差,α_i(i=1,…,n)是独立的随机变量.Eα_i=Eε_(ij)=0,varε_(ij)=θ_1>0,varα_i=θ_2≥0,cov(α_i,ε_(ij))=0.β、θ_1、θ_2是未知参数,β∈R~1,(θ_1,θ_2)~T∈Θ(?){θ_1>0,θ_2≥0}.     

相依误差下回归函数导数估计的强收敛速度

设Y_1,…,Y_n是在固定点x_1,…,x_n的n个观察值,适合模型 Y_i=g(x_i) ε_i,1≤i≤n.(1)这里g(·)是R上的未知函数,{ε_i}为随机(误差)变量序列,且假定0=x_0≤x_1≤…≤x_(n-1)≤x_n=1. 给定非负整数p,为了估计g的p阶导数g~(p)(x)(p=0时,即为g(x)),秦永松用     

非参数回归核估计的条件平均绝对误差的指数收敛速度

设(X,Y)、(X,Y_1),…,(X_n,Y_n)是取值于 R~d×R~1的 iid。随机向量,E|Y|<∞,在本文中将一直采用下面的记号:Z_n={(X_i,Y_i),i=1,…,n}—(X,Y)的已知样本。X~n={X_1,…,X_n}。Q——X 的概率分布测度。m(x)=E(Y|X=x)——Y 对 X 的回归函数。现设有了 Z_(?)并指定了 R~d 中的一个点 x,要依据它们对 m(x)作出估计。这就是一般的非参数回归问题。核估计法就是先选定 R~d 上定义的非负函数 K(x)作为核函数,那么可给出 m(x)的一个核估计     

检验k母体协差阵相等中的不变性问题

<正> 设X′=(x_(1),…,x_(n)),x_(i):p×1,t=1,…,n.记n_i=n_1+…+n_i,n_i>p,n=n_1+…+n_k,x_(ni+1),…,x_(ni+ni+1)来自多元正态总体N_p(μ_i,∑_i),μ_i∈R~p,∑_i∈δ_p,容量为n_(i+1)的样本,i=1,…,k,其中δ_p={∑|∑:p×p,∑>0}.考虑     

关于超越代数体函数的增长与其亏函数个数的关系

设 f(z)为 n 值的超越代数体函数,如果存在 n+1个整函数φ_i(i=0,1,2,…,n)满足T(r,φ_i)=0{T(r,f)},r→∞且δ(φ_i,f)=1(i=0,1,…,n),则 f(z)的级λ为正整数或无穷且是正规增长的.