皮盼资讯网移动版

主题模型（Topic Model）是一种用于在一组文本集合中查找出抽象主题的统计模型。简单来说，每个文本都有其中心思想，围绕着该中心思想一些特定的词语会更加频繁的出现。主题模型就是统计这组文本中每个词语出现的次数，根据统计信息判断这组文本当中有哪些主题以及每个主题所占的比重是多少。

LDA主题模型是一种非监督的机器学习算法，主要被用于自动生成文档主题，特别是对于文本数量很多的文档数据集合，常用LDA主题模型挖掘数据集中潜在的主题信息。LDA中主题个数的确定是一个比较困难的问题，依经验一般设置为50到500之间。因此，本文基于以上研究经验以及第2节和第3节中得到的两部分特征向量维数，选取100个主题，并将得到的结果与第3节中得到的特征向量（图5所示）拼接在一起，即完整的特征向量如图6所示。

5 基于句法结构的相似缺陷报告识别方法的实验结果与分析

得到每份缺陷报告的特征向量后，基于目前较为成熟的支持向量机、随机森林等机器学习分类算法对缺陷报告分类，计算几种分类算法的准确率并比较几种算法在缺陷报告集合中的适用性。

本文随机选取开源项目Eclipse中的5000份缺陷报告作为实验对象。由于目前没有完备的缺陷报告分类数据集，而缺陷报告的优先级可以看作对缺陷报告的粗分类，因此选用缺陷报告的优先级评估实验结果。

得到每份缺陷报告的特征向量后，对每个类别的缺陷报告，随机选取十分之一，即100份作为测试集，剩余900份缺陷报告作为训练集，并通过K近邻、支持向量机、随机森林、GBDT等机器学习算法实现分类，以探究这几种分类算法在缺陷报告集合中的实用性。

本文对第3节及第4节提出的方法进行了比较，图5及图6分别表示的两种特征向量提取方法的缺陷报告分类准确率如表1所示。其中第一行为基于白名单方法与基于动宾短语提取和领域术语抽取方法结合（图5所示）的实验结果，第二行为白名单方法、基于动宾短语提取和领域术语抽取方法及基于主题模型方法三者结合（图6所示）的实验结果。

从表1中可以看出，白名单方法、基于动宾短语提取和领域术语抽取方法及基于主题模型方法三者结合的方法（图6所示）的实验效果在KNN、支持向量机及GBDT三种分类算法上略有提升，并且GBDT的提升效果较明显，为3.6%。GBDT作为近年来应用较为广泛的机器学习算法，在缺陷报告分类方面也有较好的实验结果。

目前本文在上述几个模型中均使用默认参数，对实验结果也有一定影响，还需尝试找到更合适的模型参数。另外，更多的算法和模型也有待于研究和尝试。

6 结束语

本文首先介绍了相似缺陷报告集合提取方法的基本流程以及缺陷报告的各部分特征组成。第2节介绍了基于白名单的特征向量构建方法，第3节介绍了基于结构化信息的特征向量构建方法以及基于LDA主题模型的特征向量构建方法，本文将文本信息的结构化信息提取以及基于启发式规则的文本片段筛选方法应用到缺陷报告文本中，并利用领域术语抽取的方法建立缺陷报告与其类别之间的联系。

参考文献

[1] Runeson P, Alexandersson M, Nyholm O. Detection of Duplicate Defect Reports Using Natural Language Processing. Proceedings of 29th International Conference on Software Engineering, 2007, 499-510.

[2] Wang X Y ,Zhang L, Xie T, Anvik J, Sun J. An Approach to Detecting Duplicate Bug Reports Using Natural Language and Execution Information. Proceedings of the 30th International Conference on Software Engineering, 2008, 461-470.

[3] Jalbert N, Weimer W. Automated Duplicate Detection for Bug Tracking System. Proceedings of the International Conference on Dependable Systems and Networks, 2008, 1-10.

[4] 朱子骁,邹艳珍,华晨彦,沈琦,赵俊峰.基于StackOverflow数据的软件功能特征挖掘组织方法.软件学报 ISSN 1000-9825

[5] 刘桃,刘秉权,徐志明,王晓龙.领域术语自动抽取及其在文本分类中的应用.电子学报 2007.

(责编：刘扬、赵光霞)