基于主题模型的文本分类算法性能比较

作者:王万起; 田中雨; 董兰军
更新时间:

本文采用LDA模型进行文本降维和特征提取,并在alpine框架下对传统分类算法进行训练,以探索它是否能提高单个分类算法的分类精度,获得更好的分类效果,从而使LDA模型能发挥更高的性能和效果,从而为提高文本分类精度服务。同时,以科学网为数据源,根据其学科分类标准,建立了一个涵盖六个主题的实验文本集。以Weka为实验工具,以F值平均值为评价指标,对朴素贝叶斯、logistic回归、支持向量机和K近邻算法以及AdaBoost、Bagging四种传统分类算法的分类效果进行了分析。总体而言,同质集成整合后的文本分类准确率高于单一分类器。采用LDA模型进行文本降维和特征提取,以朴素贝叶斯为基分类器和Bagging进行集成训练,分类效果最好,实现了“全局最优”的识别。