基于K-means-CNN耦合的采砂大数据智能清洗模型研究

针对水下采砂大数据中存在信息缺失、冗余、混乱等问题，构建一种K-means聚类与CNN（卷积神经网络）的耦合模型。首先应用最小二乘法得到K-means的聚类阈值，使同类型数据更易于聚类；对数据集进行CNN网络训练，根据各种不同的样本进行网络参数选择，同时实现了CNN智能融合处理；再把从现场收集的大数据输入经过K-means-CNN智能耦合的模式中，将水下采砂大数据分为缺失、冗余、混乱、正常四种类型，并进行标记和数据清洗。试验结果表明，基于K-means-CNN的数据清洗模型，对异常数据的有效清除率超过80%，提高了水下采砂大数据的质量，为后续水下采砂大数据分析打下良好的基础。