基于DCSBM模型的受访者驱动抽样调查估计量改进

大数据背景下,将受访者驱动抽样(RDS)用于网络抽样调查,解决了传统抽样调查难以获得可用抽样框、难以接触被调查者以及难以获得回答等问题,也使得网络调查可以实现概率抽样,得到一定误差范围内的总体参数估计.然而,在实际抽样过程中,同质性问题(即样本单元在推荐同伴时倾向于推荐那些与自己有相同属性的同伴)会导致RDS估计量的方...     

大数据背景下的抽样调查

大数据具有体量大、种类丰富、增长速度快等特点,同时也存在价值密度低、代表性差等问题,为抽样调查带来了机遇与挑战.大数据背景下的抽样如何适应新的变化、具有怎样的发展和应用?文章从三个角度进行了讨论.一是在数据流环境下产生了一些适应性强的新型抽样方法,能够高效、准确地获得有代表性样本,并兼顾存储空间、处理的时间与能力.二是...     

大数据背景下平台类企业开展抽样调查的应用研究

大数据背景下,对于抽样调查的必要性和重要性,目前还存在一定争论.文章定义了两种类型的大数据场景,一种是现有数据量海量的情况;另一种是现有抽样框名录海量的情况.对于抽样框名录海量的情况下,抽样调查既必要又重要.文章基于某平台类企业的海量抽样框名录,对该平台类企业关心的问题采用目录抽样的方法进行抽样调查研究,并考虑了样本轮...     

基于大数据的税务系统逃税识别路径研究

大数据引发了思维模式的改变和技术的革新,对税收领域产生重大影响,也给税收领域的发展带来契机.从大数据思维和技术的角度出发,初步探索如何将大数据应用在识别逃税现象的过程中.结合大数据思维,应用大数据技术,通过建立税收大数据仓库,并基于税收大数据之间的相关关系运用关联规则数据挖掘技术,建立了大数据的逃税识别路径,实现逃税的识别,以期为税收领域中的大数据应用提供一定的新思路和借鉴基础.     

大数据背景下产品质量抽样调查的样本量设计

产品质量抽样调查是政府质量监督部门监管产品质量状况的重要手段,在历年的产品质量抽样调查中,也累积了大量的实际数据.文章将大量数据提供的先验信息和抽样调查中的样本量设计进行了有效的结合,利用大数据提供的有价值信息作为辅助信息,使用聚类等方法对调查对象进行分层,根据各层的不同特点利用优先数系确定各层间相对误差限的关系,进而...     

大数据条件下同时拟合多条空间直线和平面的方法研究

为利用总体最小二乘准则将三维空间数据中包含的多条空间直线和平面原型拟合出来,提出了在大数据条件下的一种估计空间直线和空间平面方程的快速计算方法.首先研究了在总体最小二乘准则下待拟合的空间直线和平面的特殊理论性质,为提出简明算法打下基础,其次,根据期望最大化(Expectation Maximization,EM)算法实现数据的自动分割,得到属于每条直线和每个平面的三维数据,最后,在数据被污染而含有较多噪声时,可先用DBSCAN算法清洗数据,再用EM算法自动分割数据,拟合出数据中包含的多条空间直线和多个空间平面原型.计算机仿真结果表明,在数据没有遭到污染和污染比例不太高大数据中,算法都可以快速准确地确定出多条直线和平面原型.     

样本估计总体在生活中的应用例析

<正>有时由于研究对象个体太多,限于人力与物力而无法做全面的调查,抑或调查时具有破坏性,我们只能抽样调查.抽样的方法包括简单随机抽样、分层抽样,以及整群抽样和系统抽样等.从总体中抽取一部分个体,得到样本,如何用样本估计总体呢?有两种途径：一是从图形的角度用样本估计总体,它需要用频率分布表列出各小组的频数与频率,抑或用频率分布直方图画出频数;二是从代数的角度用样本估计总体,即算出样本的平均数、方差和极差等,用样本的特征数估计总体的特征数.     

基于DEA的江苏高等院校规模有效性分析

综合运用数据包络分析DEA模型对江苏省22所本科院校的总体有效性、技术有效性、规模有效性以及规模报酬进行分析,分析影响效率有效性的因素,得到各高校的效率状况.     

一种基于大数据处理的异构私有云系统

云计算和大数据已成为IT领域的研究热点,如何将云计算在数据存储和数据处理方面的优势应用于大数据领域具有重要的实际应用价值.开源的云平台OpenStack可方便地从硬件管理方面构建私有云,其存储模块Swift能够支持PB级的大数据存储.开源的云平台Hadoop在数据处理方面具有很强的优势,但在支持超大数据存储方面存在不足.通过对OpenStack中的存储模块Swift和Hadoop中的文件处理模块HDFS的比较分析,提出了将Swift和Hadoop的MapReduce技术结合来构建企业处理大数据的私有云计算系统方案.分析结果显示该方案是可行的,这种异构的私有云系统可以整合不同云计算平台各自的优势进行高效的大数据处理.     

谈分层抽样

分层抽样(Stratified Sampling)也称分类抽样,是最常用的抽样调查方法之一.它的具体作法是:将总体划分为若干个子总体(称之为层),然后对每一子总体进行抽样.例如,关于玉米产量的抽样调查,可按平原、丘陵、山区分层进行.对某省1984年人口出生率的抽样调查,可按城市、农村分层进行.对职工家庭经济情况的抽样调查,可按职工从事的职业分层进行……分层抽样的优点分层抽样是人们比较喜欢采用的一种抽样方法,这主要是由于它有以下优点: (1)在很多抽样调查中,不仅需要估计总体的目标值,同时还需要估计局部总体的目标值.比如,在年出生率的调查中全…     

分数填补下两总体分位数差异的经验似然置信区间

设有两个非参数总体,其样本数据不完全,用分数填补法补足缺失数据,得到两总体的"完全"样本数据,在此基础上构造两总体分位数差异的经验似然置信区间.模拟结果显示,分数填补法可以得到更加精确的置信区间.     

抽样调查中缺失数据的插补方法

在抽样调查等实际问题中,经常出现数据缺失.针对这类问题,通常的处理方法之一是对数据进行插补。本文综述了抽样调查中处理缺失数据常用的插补方法。重点讨论了单一插补的方差估计与多重插补的简化计算以及使用回答概率的单一插补等。最后讨论目前插补所面临的问题与其发展方向.     

基于DEA的我国上市高科技公司的经营效率和技术进步率分析

建立了评价69家高科技上市公司2003—2005年经营效率和技术进步的数据包络(DEA)模型,编写了L INGO程序测算出各公司的总体效率,技术效率、规模收益程度和整体技术进步率.对DEA有效和非DEA有效的公司做出了实证分析,并对结果进行说明.     

带有函数型数据的多类型数据综合排序方法——我国各省市自治区主要城市的经济、环境水平综合排序

对于我国城市经济水平、环境水平的综合排序,目前已经有了比较完善的指标体系排序方法,但是其中涉及的大多都是多元数据.随着获取数据的方式增多和获取数据的技术日新月异,数据变得越来越复杂,某些领域所产生的观测数据不再是单纯的某一类数据,而是多种类型数据的组合.本文研究的就是当指标体系涉及到函数型数据时,该如何排序.对此,本文提出四种综合排序方法,并通过数值模拟对这些方法进行比较和选择,得到以下结论:当函数型数据受污染时,熵权法排序结果较稳定;当标量数据受污染时,多元修正带状深度排序方法更为稳定.研究表明,多类型数据排序方法的选择还需要根据原始数据的特征而定.该研究丰富了多类型数据的综合排序方法,具有很好的现实意义.     

关于抽样调查基本概念的问答

问:抽样调查和抽样检查是不是一回事?答:不是.抽样检查(Sampling　inspection)是一种产品检验方法.通过对样本的检查判断该样本所属批是接收还是拒收.而抽样调查(Sampling servey)对是通过对样本的调查了解总体数量特性的一种数理统计方法.抽样调查被广泛地应用于社会经济统计(例如人口调查、资源调查、生态调查等)之中.在工业企业管理中也有不少应用.例如,产品销售量变化趋势调查;产品不合格品率的估计;工厂中某型号机床精度变化调查等.当然,抽样调查和抽样调查也有共同点──它们都是通过样本对总体进行了解.不过,如果从数理统计理论的角…     

前景理论视角下大数据资产价值的实物期权评估方法研究

提出了一种新的大数据资产的价值评估方法.在实物期权理论的基础上,将前景理论中的值函数用于计算标的资产每种状态下公司决策者对其价值的主观判断,运用决策权重函数来计算决策者对于规模扩张权、规模收缩权等的主观权重.并基于文献的研究结果,选取了一个算例,利用最小二乘蒙特卡洛模拟对模型进行了模拟计算,得到了合理的大数据资产的评估值.创新点在于:考虑了公司决策者在决定如何运用大数据资产为企业带来收益时的非理性,构建了基于前景理论的大数据资产价值的实物期权定价模型,并且考虑到了在执行规模收缩权时,标的资产的状态可能处于盈利或亏损两种状态的情况.提出的估值模型期望可以为更好地评估大数据资产价值提供一些参考.     

多源数据融合视角下非概率样本与概率样本的大量插补推断方法

随着社会的发展,概率样本无回答率越来越高,其目标变量可能存在缺失的情况.同时,大数据与网络调查的发展使得获得的样本大多数是非概率样本,如何结合这两种样本推断总体是当今时代多源数据融合领域的一个热点问题.假设存在目标变量完全缺失的概率样本和数据完整的非概率样本,提出基于非概率样本建立超总体局部多项式模型,插补概率样本缺失的目标变量,并利用插补后的概率样本估计总体,进一步证明提出估计的渐近性质.模拟和实证研究表明:与基于非概率样本的倾向得分逆加权估计相比,提出估计的绝对相对偏差,方差与均方误差更小,且与基于真实概率样本的总体估计相接近;提出总体均值估计的方差估计的绝对相对偏差与95%置信区间覆盖率也接近于基于真实概率样本的总体估计的相应指标,估计效果较好.     

大数据背景下人工智能发展对大学数学教学的启示

大数据时代,以数据为载体的人工智能技术渗透到社会的各行各业,而人工智能技术的发展越来越依赖应用数学学科的进步.在此背景下,大学数学教学改革成为必需,以适应社会新时代的发展.结合自身的教学改革实践,探讨如何从基本的大学数学内容出发,进行拓展,向学生介绍前沿的人工智能技术.从而,增加数学课程教学的趣味性和实用性,加深学生对数学思想方法在人工智能领域应用理解.     

基因表达数据横向荟萃分析方法综述

大数据时代为科学研究带来了总量巨大、来源多样、特征多样的实验数据。随着高通量基因组技术的发展,基因表达数据成爆炸性增长,如何对这些数据进行有效快速地荟萃分析成为数据分析面临的重要问题。为了解决这一问题学者们提出了很多方法,本文就一些主要的数据荟萃分析方法和评价标准进行总结综述,为这一问题的研究提供一些参考,并对今后一些可能的研究方向进行初步展望。     

根据人体的手部数据推断性别的研究

本文对18对男女的手长、手宽、掌长、掌宽数据,应用两总体线性判别分析方法得到推断性别的判别函数及判别临界值,经检验证明,准确率很好.