基于Hadoop的分布式财务异常数据分析系统设计

传统的异常数据监测算法依靠单台计算机对异常数据进行识别,识别速度慢,且无法满足对数据处理的精确性要求。针对上述问题,文中构建了Hadoop分布式财务异常数据分析模型。该模型采用Hadoop中的MapReduce框架作为并行计算框架,同时在数据异常检测算法方面引入了邻域关系的LOF算法,有效避免了数据集元素边缘可能会出现误判的情况。数值实验结果表明,文中所提算法的准确率相比其他3种同类算法提升了5%以上,且算法的总运行时间也明显缩短。由此可见,文中所提模型可快速、准确地检测出财务异常数据,保障医疗系统的平稳运行。     

融入环形振荡器木马特征的无监督硬件木马检测

机器学习用于集成电路硬件木马的检测可以有效提高检测率。无监督学习方法在特征选择上还存在不足,目前研究工作主要集中于有监督学习方法。文章引入环形振荡器木马的新特征,研究基于无监督机器学习的硬件木马检测方法。首先针对待测电路网表,提取每个节点的5维特征值,然后利用局部离群因子(LOF)算法计算各节点的LOF值,筛选出硬件木马节点。对Trust-HUB基准电路的仿真实验结果表明,该方法用于网表级电路硬件木马的检测,与现有基于无监督学习的检测方法相比,TPR(真阳性率)、P(精度)和F(度量)分别提升了16.19%、10.79%和15.56%。针对Trust-HUB基准电路的硬件木马检测的平均TPR、TNR和A,分别达到了58.61%、97.09%和95.60%。     

ATM交易状态特征分析与异常检测

考虑ATM交易过程当中产生的一系列参数,如交易量、交易成功率和响应时间等,对交易状态特征进行分析并建立了异常检测模型。针对成功率与响应时间2个参数,利用聚类算法将数据点划分为正常点、疑似异常点、异常点3大类。对于疑似的异常点,再根据其时间序列周围点的分布情况确定是否确实为异常点;对于交易量参数,首先通过LOF局部离群因子对离群点进行识别,再结合交易量随时间的移动均线及标准差加以辅助筛选,得到初步的疑似异常点,进一步通过与不同天同一时刻数据进行比较,最终确定是否为异常点。根据上述模型,本文将异常情况划分为3个预警等级,并对重大故障情况进行预测。     

Robust Model Averaging Method Based on LOF Algorithm

Model averaging is a good alternative to model selection, which can deal with the uncertainty from model selection process and make full use of the information from various candidate models. However, most of the existing model averaging criteria do not consider the influence of outliers on the estimation procedures. The purpose of this paper is to develop a robust model averaging approach based on the local outlier factor (LOF) algorithm which can downweight the outliers in the covariates. Asymptotic optimality of the proposed robust model averaging estimator is derived under some regularity conditions. Further, we prove the consistency of the LOF-based weight estimator tending to the theoretically optimal weight vector. Numerical studies including Monte Carlo simulations and a real data example are provided to illustrate our proposed methodology.