高光谱成像的多种类柑橘病虫药害叶片检测方法研究

影响柑橘生长的病虫药害种类繁多,目前的检测方法大多针对单一病症,开发基于高光谱成像和机器学习的多种类柑橘病虫药害叶片快速精准检测方法,对果园精准施药和柑橘产业健康发展具有重要意义。以果园自然发病的柑橘叶片为研究对象,包括柑橘正常叶(50片)、溃疡病叶(50片)、煤烟病叶(103片)、缺素病叶(60片)、红蜘蛛叶(56片)和除草剂危害叶(85片),采集350～1 050 nm波段内的高光谱数据。分别利用一阶求导(1^stDer)、多元散射校正(MSC)和中值滤波(MF)方法对原始(Origin)高光谱数据进行预处理,对预处理后的高光谱数据采用主成分分析(PCA)和竞争性自适应重加权(CARS)算法提取特征波长,CARS降维得到的特征波长分别为10个、 5个、 12个和10个,4组PCA提取的特征波长均为7个,两种方法所得特征波长范围都集中在700～760 nm波段内。对全波段(FS)使用极限梯度提升树(XGBoost)算法,特征波长使用支持向量机(SVM)建立柑橘病叶多分类模型。采用XGBoost建立的检测识别模型有Origin-FS-XGBoost, 1^s...     

基于数据挖掘技术的股票收益率方向研究

本文依据数据挖掘技术对股票收益率的变化方向进行探究。通过小波多尺度分解,将股票价格转化为不同频率域下的子序列数据、并对其中的高频序列进行降噪。构建极度梯度提升树(XGBoost)、以及其它主流机器学习算法,对沪深300和中证500指数中成分股的涨跌进行了拟合并预测。研究发现XGBoost的平均准确率分别达到了54.69%和55.13%,同时依据预测信号构建的投资策略可产生稳定收益,表明该方法具备较强的预测能力。在此基础上,对机器学习算法存在的“黑箱”问题进行了阐述和研究,对模型选股的逻辑进行了探析:提出一种因子权重的度量方法,研究发现市净率、市盈率、能量潮等指标在模型中是较为重要的判别指标,并通过偏相依关系度量了模型中各因子对于股价涨跌方向的边际影响,得到模型倾向于选择市盈率、市净率较小的股票等一些结论,使算法的逻辑更为清楚。     

Stock Index Spot–Futures Arbitrage Prediction Using Machine Learning Models

With the development of quantitative finance, machine learning methods used in the financial fields have been given significant attention among researchers, investors, and traders. However, in the field of stock index spot–futures arbitrage, relevant work is still rare. Furthermore, existing work is mostly retrospective, rather than anticipatory of arbitrage opportunities. To close the gap, this study uses machine learning approaches based on historical high-frequency data to forecast spot–futures arbitrage opportunities for the China Security Index (CSI) 300. Firstly, the possibility of spot–futures arbitrage opportunities is identified through econometric models. Then, Exchange-Traded-Fund (ETF)-based portfolios are built to fit the movements of CSI 300 with the least tracking errors. A strategy consisting of non-arbitrage intervals and unwinding timing indicators is derived and proven profitable in a back-test. In forecasting, four machine learning methods are adopted to predict the indicator we acquired, namely Least Absolute Shrinkage and Selection Operator (LASSO), Extreme Gradient Boosting (XGBoost), Back Propagation Neural Network (BPNN), and Long Short-Term Memory neural network (LSTM). The performance of each algorithm is compared from two perspectives. One is an error perspective based on the Root-Mean-Squared Error (RMSE), Mean Absolute Percentage Error (MAPE), and goodness of fit (R²). Another is a return perspective based on the trade yield and the number of arbitrage opportunities captured. Finally, a performance heterogeneity analysis is conducted based on the separation of bull and bear markets. The results show that LSTM outperforms all other algorithms over the entire time period, with an RMSE of 0.00813, MAPE of 0.70 percent, R² of 92.09 percent, and an arbitrage return of 58.18 percent. Meanwhile, in certain market conditions, namely both the bull market and bear market separately with a shorter period, LASSO can outperform.     

基于XGBoost的上市企业财务违约预测研究

公司年度报告中的管理层讨论与分析部分是企业信息披露的重要组成.构建表面情感语调STONE和隐含违约倾向IPD两个文本特征指标对年报中管理层讨论与分析的定性文本数据进行量化,并提出了一种基于XGBoost的上市公司财务违约预测模型,该方法对上市公司财务违约实现了较好的预测效果.根据特征重要性排序对特征与财务违约之间的关系进行挖掘,进一步利用敏感性分析验证了表面情感语调和隐含违约倾向指标的有效性.     

基于XGBoost的糖尿病血液拉曼光谱定量分析法

血液中包含着大量的生物信息,如激素、酶、血糖等成分,而血糖偏高将引发糖尿病。糖尿病有很多并发症,比如脑梗塞,脑出血,肾脏损害,眼底损害,周围神经病变等一系列疾病。目前,血液常规成分检测分析周期较长,结果反馈较慢,难以实现快速连续检测。光学检测技术能够根据待测物质的光谱鉴别物质化学成分和相对含量,因其灵敏度高、适用性强、分析速度快等优势,在血液无创检测领域逐渐发挥其优势。随着激光技术的不断进步,拉曼光谱技术作为一种非线性散射光谱技术,在血液检测技术中得到了广泛应用。为提高拉曼光谱的预测精度,首次将XGBoost算法应用到拉曼光谱血液血糖浓度中进行预测精度的提升。实验中106组血液样本及试验标准值为河北省秦皇岛市第一医院提供,选用布鲁克的MultiRAM光谱仪进行血液的拉曼光谱数据测量,实验中1 064 nm激发光源功率为400 mW,光谱分辨率为6 cm-1,扫描速率为10 kHz,扫描范围为400～4 000 cm-1,对每个样本重复采集10次并计算平均值作为原始光谱数据,以保证实验的准确性和可重复性。该方法无需对数据进行预处理,首先将光谱数据随机划分为训练集和测试集,比例为7∶3,训练集用于训练模型并确定模型参数,测试集用于测试模型的稳定性和预测精度。建立XGBoost模型后,用网格搜索法和k折交叉验证优化模型参数;引入模型评估指标和克拉克网格误差分析图对XGBoost模型血糖浓度的预测进行分析;最后将XGBoost模型与决策树(DT)、随机森林(RF)和支持向量机回归(SVR)模型进行对比。实验结果表明通过XGBoost建立的定量回归模型效果最佳,模型的决定系数为0.999 99,校正集均方误差为0.007 49,预测集均方误差为0.007 17,相对分析误差为331.973 18,预测点均落在克拉克网格误差分析图的A区。结果证明,将XGBoost算法应用到拉曼光谱血液成分定量分析中具有较高的预测精度,并且数据未经过预处理,可以有效缩短程序运行时间,其在拉曼光谱以及近红外光谱定量分析领域具有广阔的发展前景。     

基于XGBoost的铝合金LIBS光谱分类识别方法

铝合金作为重要的金属材料,广泛应用于各领域,但大量的铝合金废料却难以进行分类回收。二次资源的回收利用是我国工业绿色、可持续发展的助推器,如何快速、简便地对铝合金废料进行识别分类则成为了铝合金废料回收利用的先决条件。激光诱导击穿光谱（LIBS）是近年来发展快速的一种分析技术,具有快速、全元素分析、实时、原位、远距离检测等优点,已广泛应用于塑料、土壤、肉类、钢铁等识别研究,大多采用最小二乘判别分析法、簇类独立软模式、人工神经网络、支持向量机、随机森林等算法来建立模型。基于迭代型树的XGBoost算法具有正则化、并行处理运算、内置交叉验证和高度的算法灵活性等优势,其模型结构相对简单、运算量较小,且准确率较高,成为近年来机器学习中极受欢迎的算法,因而被广泛应用。基于六种铝合金样品的600组光谱数据,根据NIST原子发射光谱数据库进行光谱特征提取,确定光谱特征谱线的分类依据。利用XGBoost算法进行自动分类及排序,将处理后的光谱数据随机划分为训练集和测试集,通过训练集构建算法模型,提取其分类特征;利用测试集检验模型的稳定性和可用性,防止出现过拟合。XGBoost在固定参数下得到的模型具有一定的自适应性,较少受数据集的影响,总体准确率可达96.67%。其分类特征与已知的元素含量信息相吻合,证明了基于光谱的特征谱线数据,可为分类识别提供参考;同时还可根据XGBoost生成的特征评分来对光谱谱线特征的重要性进行排序。实验结果表明,LIBS可用于不同种类铝合金的快速识别,为废弃金属的分类回收提供了一种新的技术。     

基于无人机高光谱遥感的冬小麦全氮含量反演

氮素是作物生长发育必需的营养元素之一,作物的全氮含量是表征其氮素状况的主要指标。田块尺度的冬小麦全氮含量空间分布监测可以辅助其精准定量追肥,减少环境污染。无人机高光谱遥感具有分辨率高、时效性高、成本低等优势,可为作物长势信息反演提供重要数据源。XGBoost（extreme gradient boosting）作为一种新兴集成学习算法,运行效率高,泛化能力强,可以有效的应用于构建冬小麦全氮含量遥感反演模型,预测田块尺度冬小麦全氮含量空间分布。以农业部蒙城砂姜黑土生态环境站内拔节期冬小麦为研究对象,开展以下工作: （1）以低空无人机搭载高光谱成像仪获取冬小麦拔节期冠层成像光谱影像,结合地面采样数据,获取126个样点全氮含量数据;（2）分析拔节期冬小麦冠层光谱特征,并根据Person相关系数分析176个波段的光谱反射率与全氮含量之间的相关性;（3）构建基于XGBoost算法的不同土壤肥力条件下拔节期冬小麦全氮含量无人机高光谱反演模型。结果表明: （1）176个波段（400~1 000 nm）的光谱反射率与冬小麦全氮含量之间具有较强的相关性,除了735.5 nm外其他波段光谱反射率与全氮含量之间的相关系数均大于0.5;（2）基于XGBoost算法构建的拔节期冬小麦全氮含量无人机高光谱遥感反演模型具有较高的反演精度（R2=0.76,RMSE=2.68）;（3）基于XGBoost算法的冬小麦全氮含量反演模型可以获取不同土壤肥力条件下田块尺度的全氮含量空间分布图,总体上呈现较为显著的空间差异。该研究可为冬小麦精准定量追肥提供一定的科学依据,也为发展无人机高光谱遥感的精准农业应用提供了参考。     

基于地铁施工事故案例的机器学习灾害预测方法

针对城市轨道交通施工事故的频繁发生,建立了基于地铁施工事故案例的机器学习灾害预测模型.通过收集过往地铁施工事故案例建立数据集,引入天气气象、水文地质、周边环境、施工因素等外部风险源做为特征,分析决策树、随机森林、SVM、XGBoost等灾害预测模型对施工事故的预测能力.结果 表明经过网格搜索后XGBoost的预测效果明...     

Mood Disorder Detection in Adolescents by Classification Trees,Random Forests and XGBoost in Presence of Missing Data

We apply tree-based classification algorithms, namely the classification trees, with the use of the rpart algorithm, random forests and XGBoost methods to detect mood disorder in a group of 2508 lower secondary school students. The dataset presents many challenges, the most important of which is many missing data as well as the being heavily unbalanced (there are few severe mood disorder cases). We find that all algorithms are specific, but only the rpart algorithm is sensitive; i.e., it is able to detect cases of real cases mood disorder. The conclusion of this paper is that this is caused by the fact that the rpart algorithm uses the surrogate variables to handle missing data. The most important social-studies-related result is that the adolescents’ relationships with their parents are the single most important factor in developing mood disorders—far more important than other factors, such as the socio-economic status or school success.     

基于自回归XGBoost时序模型的GDP预测实证

GDP是反映一个国家国民收入、居民消费能力和经济发展的重要宏观经济指标,也是制定相关经济政策的重要依据.选择合适的统计方法研究GDP的发展变化规律,进行短期的高精度预测,对我国的宏观经济决策具有重要意义.研究选用基于自回归的XGBoost时序模型对我国1978-2018年GDP进行拟合预测,Rstudio软件运行结果显...