稳健的惩罚经验似然方法及压缩估计

本文基于原有的经验似然函数,在经验似然的约束条件中的估计方程上加入Huber函数和权重函数,将经验似然方法和稳健估计方程相结合,再在目标函数中加上SCAD惩罚函数,提出一种稳健的变量选择和惩罚估计方法.通过数值模拟与最小二乘估计和普通的惩罚经验似然估计在变量选择和参数估计方面进行比较,显示本文所提出的基于惩罚稳健经验似然的压缩估计具有明显优势.     

基于众数回归的变系数部分线性工具变量模型的稳健估计

基于众数回归,利用工具变量研究含有内生变量的变系数部分线性模型的稳健估计.首先,引入工具变量对内生协变量进行分解,从而得到内生协变量的一致估计;其次,运用B样条基函数近似模型中的非参数部分,将模型简化;进一步,基于众数回归的思想,结合EM算法得到参数和非参数函数的估计.在一定条件下,证明估计量的大样本性质;最后,利用模拟实验和真实实例验证所提方法的有效性.     

纵向数据均值和协方差矩阵的有效稳健估计（英文）

本文提出一种针对纵向数据回归模型下的均值和协方差矩阵同时进行的有效稳健估计.基于对协方差矩阵的Cholesky分解和对模型的改写,我们提出一个加权最小二乘估计,其中权重是通过广义经验似然方法估计出来的.所提估计的有效性得益于经验似然方法的优势,稳健性则是通过限制残差平方和的上界来达到.模拟研究表明,和已有的针对纵向数据的稳健估计相比,所提估计具有更高的效率和可比的稳健性.最后,我们把所提估计方法用来分析一组实际数据.     

面板数据下带固定效应的线性回归模型的稳健变量选择

本文结合复合分位数回归和自适应LASSO惩罚方法为固定效应面板数据模型提供了一种稳健变量选择过程。先通过正向正交偏差变换消除固定效应,再利用自适应LASSO构造惩罚复合分位数回归目标函数,进而同时进行回归系数的估计和变量选择。在一些正则条件下,证明了所提出的估计具有Orcale性质。该方法不仅消除了固定效应对估计的影响,而且具有稳健性。模拟研究了所提出方法的有限样本性质并将其应用于实际数据分析。     

空间非参回归的变量选择

空间变系数回归模型是空间线性回归模型的重要推广,在实际中有广泛的应用.然而,这个模型的变量选择问题还没有解决.本文通过一般的M型损失函数将均值回归、中位数回归、分位数回归和稳健均值回归纳入同一框架下,然后基于B样条近似,提出一个能够同时进行变量选择和函数系数估计的自适应组内(adaptive group)L_r(r≥1)范数惩罚的M型估计量.新方法有几个显著的特点:(1)对异常点和重尾分布稳健;(2)能够兼容异方差性,允许显著变量集合随所考虑的分位点不同而变化;(3)兼顾了估计量的有效性和稳健性.在较弱假设条件下,建立了变量选择的oracle性质.随机模拟和实例分析验证了所提方法在有限样本时的表现.     

变窗宽和一步局部M-估计 *

研究稳健的变窗宽局部线性回归 .所提出的方法继承了局部多项式回归的优点并且克服了最小二乘方法缺乏稳健性的缺点 .变窗宽的使用提高了所得到的局部M- 估计的可塑性并使得它们能成功地处理空间非齐性曲线、异方差性及非均匀设计密度 .在合适的正规条件下 ,所提出的估计是存在的且是渐近正态的 .基于稳健的估计方程 ,引进了一步局部M- 估计以减少计算负担 .只要初始估计足够好 ,一步局部估计将具有与整个迭代的M- 估计相同的渐近分布 .换句话说 ,一步局部M- 估计显著地减少整个迭代M- 估计的计算负担而不降低其执行效果 .模拟也说明了这个事实.     

基于Lasso惩罚的迹差损失方法高维协变量调整的稀疏精度矩阵估计（英文）

本文运用两阶段估计程序给出了协变量调整的精度矩阵估计.首先,运用联合l_1惩罚方法确定影响均值的相关协变量.然后,将估计出的回归系数用于估计多元次高斯模型的均值,并通过Lasso惩罚的迹差损失方法对稀疏精度矩阵进行估计.在一些假设条件下,建立了精度矩阵估计的不同范数的收敛速率,并证明了依概率1收敛的稀疏恢复性质.数值结果表明,在有限样本情况下,同其他方法相比,我们的方法具有一定的优越性.     

分位数变系数模型基于核光滑的变量选择

分位数变系数模型是一种稳健的非参数建模方法.使用变系数模型分析数据时,一个自然的问题是如何同时选择重要变量和从重要变量中识别常数效应变量.本文基于分位数方法研究具有稳健和有效性的估计和变量选择程序.利用局部光滑和自适应组变量选择方法,并对分位数损失函数施加双惩罚,我们获得了惩罚估计.通过BIC准则合适地选择调节参数,提出的变量选择方法具有oracle理论性质,并通过模拟研究和脂肪实例数据分析来说明新方法的有用性.数值结果表明,在不需要知道关于变量和误差分布的任何信息前提下,本文提出的方法能够识别不重要变量同时能区分出常数效应变量.     

纵向数据的有效秩推断基于修正的Cholesky分解

本文基于修正的Cholesky分解提出新的方法估计纵向秩回归的组内协方差矩阵,进而提出新的无偏估计函数改善不平衡纵向数据的估计效率.在一些正则条件下,建立了所提估计的渐近正态性.进一步,提出稳健的秩得分检验统计量对回归系数做假设检验.模拟研究和实证分析表明所提方法能够获得高度有效的估计以及所提检验方法比存在的方法更好.     

单调缺失机制下高维纵向线性回归模型的变量选择

在响应变量带有单调缺失的情形下考虑高维纵向线性回归模型的变量选择.主要基于逆概率加权广义估计方程提出了一种自动的变量选择方法,该方法不使用现有的惩罚函数,不涉及惩罚函数非凸最优化的问题,并且可以自动地剔除零回归系数,同时得到非零回归系数的估计.在一定正则条件下,证明了该变量选择方法具有Oracle性质.最后,通过模拟研究验证了所提出方法的有限样本性质.     

缺失数据下半参数空间自回归模型的估计

本文研究了响应变量随机缺失时部分线性空间自回归模型的估计问题.结合B样条方法,我们给出了该模型参数部分和非数部分的极大似然估计的EM算法、伪限制极大似然估计的EM算法、以及边际极大似然估计算法,并通过数值模拟比较了三种估计和相应算法在不同的样本容量、缺失比例及空间权重矩阵下数值表现.最后,通过一个实际例子进一步验证三种方法的优良性.     

固定效应部分线性单指标面板模型的惩罚经验似然估计

结合二次推断函数法、滤子法和经验似然估计法,为个体内存在相关性的部分线性单指标固定效应面板模型建立了惩罚经验似然估计法.在一些正则条件下,推导了模型估计量的大样本性质,证明了所提出的经验似然比渐近于卡方分布.进一步,用Monte Carlo模拟和真实数据分析评价了估计方法在有限样本下的表现.     

面板数据分位数回归模型的工具变量估计

针对含有内生变量的面板数据回归模型,提出基于工具变量的分位数回归估计方法.首先,通过引入工具变量解决协变量的内生性问题,然后利用分位数回归的方法对回归系数进行估计.在一些正则条件下,证明所提出估计的大样本性质,通过模拟研究证实该方法的有限样本性质.     

Cox比例风险模型中基于SELO惩罚函数的变量选择方法

在生物医学研究中,研究个体的失效时间往往存在删失,Cox比例风险模型是经常被用来处理此类删失数据的模型.对于带有删失的高维数据,如何从众多协变量中挑选出少数的致病因素是研究者的兴趣所在.本文针对高维删失数据利用SELO惩罚函数考虑了基于Cox比例风险模型框架下的变量选择及参数估计问题.在允许协变量维数发散的条件下,本文给出SELO惩罚估计量的相合性以及oracle性质.计算方面若采用传统方法计算惩罚估计解,当协变量维数较高时计算Hesse阵的逆矩阵需要花费大量的时间,且SELO惩罚函数在原点的不光滑性也给计算SELO惩罚估计带来很大难度.为此,本文利用光滑化技术对SELO惩罚函数进行近似,并利用DFP公式去代替Hesse阵的逆矩阵,进而提出了MSQN算法.模拟计算的结果表明,SELO惩罚方法比已有常用的惩罚方法表现更好,而且本文提出的新算法与常用的坐标下降算法相比表现更优.在真实数据部分,本文还分析了乳腺癌数据,并利用留一交叉验证法来评估预测的好坏.     

删失混合效应模型的分位回归及变量选择

纵向数据常常用正态混合效应模型进行分析.然而,违背正态性的假定往往会导致无效的推断.与传统的均值回归相比较,分位回归可以给出响应变量条件分布的完整刻画,对于非正态误差分布也可以给稳健的估计结果.本文主要考虑右删失响应下纵向混合效应模型的分位回归估计和变量选择问题.首先,逆删失概率加权方法被用来得到模型的参数估计.其次,结合逆删失概率加权和LASSO惩罚变量选择方法考虑了模型的变量选择问题.蒙特卡洛模拟显示所提方法要比直接删除删失数据的估计方法更具优势.最后,分析了一组艾滋病数据集来展示所提方法的实际应用效果.     

固定效应空间自回归分位数模型的变量选择

本文研究了固定效应空间自回归分位数模型的变量选择问题.通过惩罚压缩相关参数,达到了同时识别空间效应、估计未知参数和选择解释变量的目的.此外,给出了变量选择的实现算法并证明了惩罚估计量的大样本性质.数值模拟和实例分析均表明了所提方法的优良表现.     

纵向数据下混合效应EV模型中参数估计的渐近性质

考虑纵向数据下混合效应EV模型。对带有惩罚项的Profile广义最小二乘方法进行了修正。利用矩估计法和ML-based EM算法给出了固定效应,随机效应以及协方差阵的估计。在一般的条件下,给出了固定效应估计的强相合性和渐近正态性,并对所提出的各种估计进行了模拟研究。模拟效果不错。     

缺失数据下超高维可加分位回归的变量筛选和选择

针对存在缺失数据的超高维可加分位回归模型,本文提出一种有效的变量筛选方法.具体而言,将典型相关分析的思想引入到最优变换的最大相关系数,通过协变量和模型残差最优变换后的最大相关系数重要变量的边际贡献进行排序,从而进行变量筛选.然后,在筛选的基础上,利用稀疏光滑惩罚进一步做变量选择.所提变量筛选方法有三点优势:(1)基于最优变换的最大相关可以更全面的反映响应变量对协变量的非线性依赖结构;(2)在迭代过程中利用残差可以获取模型的相关信息,从而提高变量筛选的准确度;(3)变量筛选过程和模型估计分开,可以避免对冗余协变量的回归.在适当的条件下,证明了变量筛选方法的确定性独立筛选性质以及稀疏光滑惩罚下估计量的稀疏性和相合性.同时,通过蒙特卡罗模拟给出了所提方法的表现并通过一组小鼠基因数据说明了所提方法的有效性.     

一种新的空间权重矩阵构造及模拟比较研究

空间权重矩阵的构造一直是地理学、空间计量经济学和医学等领域中的难点和热点问题.权重矩阵合适与否,将直接关系到模型的最终估计结果.基于AMOEBA过程,通过局部Moran'I的比较,得到新的"邻接"关系区域,并结合基于经济距离的权重,构造出新的权重矩阵.为了进一步分析其优劣,利用蒙特卡罗模拟,在空间滞后模型下,对几种常用的权重矩阵,通过极大似然估计,利用评价标准进行比较研究.模拟结果表明:在大样本情形下,构造的新的权重矩阵,较其他几种常见权重矩阵对应的估计值更接近真值,模型拟合效果更好.同时,通过模拟比较研究也得到了一些有意义的结论.     

带环境效应的基因组选择方法研究

本文主要研究带环境效应的基因组选择问题,通过把环境效应处理成固定效应,而标记效应处理成随机效应,建立混合线性模型,并首先采用极大似然法给出环境效应和模型方差的估计,然后利用基于改进的单变量惩罚解的坐标下降算法求解基于残差的惩罚目标函数,实现标记效应的变量选择.模拟结果表明,本文所提的两步估计法在带环境效应的基因组选择中快速高效,且MCP惩罚函数表现最好,SCAD次之,而LASSO和EN表现最差.