Silhouette Analysis for Performance Evaluation in Machine Learning with Applications to Clustering

Grouping the objects based on their similarities is an important common task in machine learning applications. Many clustering methods have been developed, among them k-means based clustering methods have been broadly used and several extensions have been developed to improve the original k-means clustering method such as k-means ++ and kernel k-means. K-means is a linear clustering method; that is, it divides the objects into linearly separable groups, while kernel k-means is a non-linear technique. Kernel k-means projects the elements to a higher dimensional feature space using a kernel function, and then groups them. Different kernel functions may not perform similarly in clustering of a data set and, in turn, choosing the right kernel for an application could be challenging. In our previous work, we introduced a weighted majority voting method for clustering based on normalized mutual information (NMI). NMI is a supervised method where the true labels for a training set are required to calculate NMI. In this study, we extend our previous work of aggregating the clustering results to develop an unsupervised weighting function where a training set is not available. The proposed weighting function here is based on Silhouette index, as an unsupervised criterion. As a result, a training set is not required to calculate Silhouette index. This makes our new method more sensible in terms of clustering concept.     

基于改进的子类判决分析的SAR目标特征提取与识别

针对大多文献中假设合成孔径雷达(SAR)数据服从单模分布带来的问题,该文提出改进的子类判决分析(ICDA),它假设SAR目标数据服从更合理更实际的多模分布。首先采用快速全局k-均值聚类算法找到每类目标的子类划分,然后基于子类判决分析(CDA)准则寻找最优的投影矢量,使得投影后不同类别的子类样本之间距离最大而每个子类内部的样本散布最小。用美国运动和静止目标获取与识别(MSTAR)计划录取的SAR地面静止目标数据的实验结果表明,ICDA可获得较好的对真实目标的分类性能和对干扰目标的拒判能力。     

基于数据挖掘技术的告警恢复模型探析

随着信息通信网络设备功能和业务服务的发展,监控部门在网络维护日常工作中的作用日益突出。本文利用数据挖掘中的K-means算法对半年内的原始告警做聚类分析,论述了告警恢复所遵循的普遍规律,并分别利用离散和连续两种方法建立数学模型对最佳派单时间点的设置进行研究,为告警管理的提升以及大数据技术在电信运营商中的使用提供了思路和建议。     

基于K-means岩石铸体图像分割及孔隙度的计算

为了准确获取储层的孔隙度进行地层解释并建立地质模型,设计了基于k-means的岩石铸体图像分割及孔隙度的计算方法。本设计基于k-means聚类算法对彩色铸体薄片进行有效分割,并且在分割基础上结合形态学相关知识对图像进行更加精确识别,通过计算机判读二值图像中的孔隙面积与总图像面积比值得到孔隙度值。实验结果表明该方法可以取得好的聚类分割效果,并且使用其他检测方法和计算机判读2种方法求得的孔隙度基本一致,数值较吻合。     

Splitting Methods for Convex Clustering

Clustering is a fundamental problem in many scientific applications. Standard methods such as k-means, Gaussian mixture models, and hierarchical clustering, however, are beset by local minima, which are sometimes drastically suboptimal. Recently introduced convex relaxations of k-means and hierarchical clustering shrink cluster centroids toward one another and ensure a unique global minimizer. In this work, we present two splitting methods for solving the convex clustering problem. The first is an instance of the alternating direction method of multipliers (ADMM); the second is an instance of the alternating minimization algorithm (AMA). In contrast to previously considered algorithms, our ADMM and AMA formulations provide simple and unified frameworks for solving the convex clustering problem under the previously studied norms and open the door to potentially novel norms. We demonstrate the performance of our algorithm on both simulated and real data examples. While the differences between the two algorithms appear to be minor on the surface, complexity analysis and numerical experiments show AMA to be significantly more efficient. This article has supplementary materials available online.     

基于k-means聚类与粗糙集算法的指标筛选方法研究

针对多属性决策中指标的信息重复和不确定性问题,提出了一种基于改进的k-means聚类与粗糙集算法相结合的指标筛选方法。首先,定义样本的空间分布密度,实现初始聚类中心优化的k-means算法,对连续型指标进行离散化处理;然后利用粗糙集的相对约简原理进行指标约简,删除存在信息重复的冗余指标,并结合绿色经济指标体系构建的案例验证了该方法的合理性和有效性。     

k-均值算法的初始化方法综述

k-均值问题自提出以来一直吸引组合优化和计算机科学领域的广泛关注, 是经典的NP-难问题之一. 给定N个d维实向量构成的观测集, 目标是把这N个观测点划分到k(\leq N)个集合中, 使得所有集合中的点到对应的聚类中心距离的平方和最小, 一个集合的聚类中心指的是该集合 中所有观测点的均值. k-均值算法作为解决k-均值问题的启发式算法,在实际应用中因其出色的收敛速度而倍受欢迎. k-均值算法可描述为: 给定问题的初始化分组, 交替进行指派(将观测点分配到离其最近的均值点)和更新(计算新的聚类的均值点)直到收敛到某一解. 该算法通常被认为几乎是线性收敛的. 但缺点也很明显, 无法保证得到的是全局最优解, 并且算法结果好坏过于依赖初始解的选取. 于是学者们纷纷提出不同的初始化方法来提高k-均值算法的质量. 现筛选和罗列了关于选取初始解的k-均值算法的初始化方法供读者参考.     

k-平均问题及其变形的算法综述

k-平均问题是计算机科学和组合优化领域的经典问题之一.k-平均聚类作为最受重视而且最简单易懂的一种聚类分析方法流行于数据挖掘领域.k-平均问题可描述为:给定n个元素的观测集,其中每个观测点都是d维实向量,目标是把这n个观测点划分到k(≤n)个集合中,使得所有集合中的点到对应的聚类中心的距离的平方和最小,其中一个集合的聚类中心指的是该集合中所有观测点的均值.k-平均问题在理论上是NP-难的,但有高效的启发式算法,广泛应用在市场划分、机器视觉、地质统计学、天文学和农业等实际背景中.随着实际问题中遇到的k-平均问题更加复杂,数据量更加庞大,还需学者进行更深一步的研究.罗列出k-平均问题及其诸多变形及推广问题的经典算法,并总结k-平均中尚待研究的若干问题.     

基于改进相容函数的超分辨率图像重建

提出了一种基于机器学习的超分辨率(SR)改进算法。首先建立一个包括低分辨率(LR)图像及其相应的高分辨率(HR)图像的训练样本集,为LR图像提供了HR的图像解释。把训练集中的每一幅图像分成若干个图像块,每一个图像块作为马尔可夫随机场(MRF)模型的结点,MRF模型参数从这些训练样本中学习得到,通过对训练样本中的LR图像块进行k-均值聚类减少计算开销,并用k-均值的聚类结果提出了一种新的相容函数形式。实验结果表明,该算法是可行的,并与同类算法相比能取得较好的结果,使得SR后的图像更平滑自然。     

融合改进人工蜂群和K均值聚类的图像分割

针对人工蜂群优化的K均值算法易陷入局部最优、搜索精度不够、分割图像不够细致等问题,本文融合自适应人工蜂群和K均值聚类,提出了一种新的图像分割算法。算法首先利用距离最大最小乘积对种群进行初始化;其次采用自适应搜索参数动态调整邻域搜索范围,使人工蜂群算法快速收敛于全局最优;然后将人工蜂群输出的所有蜜源进行K均值聚类,克服K均值聚类结果对初始聚类中心的依赖,再将聚类划分结果进行Powell局部搜索,加快算法收敛的速度,将得到的新聚类中心更新蜂群中蜜源位置。最后,将本文算法与其他两种同类分割算法进行试验对比。实验结果表明:与其他两种算法相比,本文提出的分割算法在保证运行时间的前提下,分割准确率比其他两种算法分别至少提高了3.5%和4.8%,表现出了较高的分割质量。