一种傅里叶域海量数据高速谱聚类方法

作者:张熳; 徐兆瑞; 沈项军
更新时间:

谱聚类算法广泛应用于数据挖掘、模式识别等领域。然而,由于大规模数据的高计算成本和大数据带来的巨大内存需求,谱聚类算法在大规模数据中的应用受到很大限制。因此,本文研究了基于傅里·叶域的海量数据的高速谱聚类方法。该方法充分利用了数据模式的可重复性,并将该特征应用于傅里·叶域模型。因此,耗时的特征向量计算可以转化为选择预定的的傅里叶域判别基来确定最终的特征向量。计算过程只需要简单的乘法和加法运算,另一方面,由于傅里叶计算的特点,这种方法的另一个优点是可以对样本进行批量训练,即只使用部分样本就可以很好地估计出整体数据的特征向量分布,然后确定最终的特征向量,这再次大大减少了本文提出的谱聚类方法的计算时间和内存需求。在ijcn1、rcv1、covtype mult、poker和mnist-8m上的实验结果表明,该算法的训练时间比现有的其他方法,如fastesc(快速显式谱聚类)、lsshc(大规模谱超图聚类)、SC Rb Sseigs(半监督特征向量)和uspec(超可伸缩谱聚类)快几十倍左右,证明了该方法在处理大规模聚类数据时具有明显的优势。