皮盼资讯网移动版

近两年大型预训练语言模型在各个NLP领域的任务中表现卓越，其中也包括语义角色标注，本文使用ELMo进行预训练。ELMO是一个包含语法语义信息而且能够解决一词多义信息的词向量训练的语言模型，结构如图4所示，

将ELMo输出的向量，作为模型Bi-LSTM的输入向量，原来设定的最底层的数据输入作为ELMo模型的输入。最终结果表明，ELMo语言模型的加入，有效的提升了模型的效果。

（三） 模型评分标准

模型评价使用计算的F1值为标准。F1值的计算公式如公式（2-16）所示，

（四） 模型对比结果

本次使用PropBank SRL公开中文数据集进行模型评测，三个模型的评测结果如表1所示，

结果表明，加入ELMo语言模型的联合预测效果显著

（五） 使用人民网新闻数据进行测试

从人民网中摘一句话，“贺一诚以392票高票当选澳门特区第五任行政长官人选”，用模型生成预测结果如图5所示

上述是原句分词的结果，生成结果中6表示谓词的位置，即本句中的当选，论元角色分别有贺一诚、行政长官人选，“以392票高票”是方式，A0表示第一个论元，MNR表示方式，A1表示第二个论元。可以看到，效果还是很不错的。

（六） 总结

本文介绍了三个改进点，有着各自的特点与优势。

第一个点是在LSTM中Highway结构的加入，可以有效的缓解RNN梯度消失的问题。

第二个点是大型预训练语言模型ELMo的加入，近年来兴起的预训练语言模型在NLP领域中表现卓越，对于语义识别任务也有较大的提升。

第三个点是提出了新颖的span-level特征的提取方式，并且能够一次性预测多个谓词及相关的论元对，不需要事先定义好谓词进行输入，并且克服了不同论元交叉区域的影响，具有很强的现实意义。

中文的语义角色标注一直存在着很多问题，而且语义的捕捉也更加困难，本文介绍的改进点对于在海量的新闻信息处理上解决这些问题可以提供一些新的思路。

四、 结论

针对中文文本的特点，结合当下语义识别的实际需求，本文通过改善LSTM/RNN等循环神经网络模型，在模型复杂度以及识别的限制的问题上进行了改善。并结合语言模型ELMo，提出了一种联合预测方案，能够实现中文句子多谓词情况下的语义角色的自动标注。对新闻网站的建设以及更好的展示和挖掘新闻中的信息，有着一定的推动意义。

可以看到，语义识别技术的发展，使得新闻网站关键信息的着重突出以及更加的人性化，可以给用户带来更好的体验。

参考文献：

[1] LOWE J B, BAKER C F, FILLMORE C J. A frame-semantic approach to semantic annotation[C]//Proceedings of the SIGLEX Workshop on Tagging Text with Lexical Semantics: Why, What, and How. 1997: 4-5.

[2] Zhiheng Huang, Wei Xu, and Kai Yu. 2015. Bidirectional LSTM-CRF models for sequence tagging. CoRR, abs/1508.01991.

[3] Luheng He, Kenton Lee, Mike Lewis, and Luke S. Zettlemoyer. 2017. Luheng He, Kenton Lee, Mike Lewis, and Luke S. Zettlemoyer. 2017. Deep semantic rol

[4] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matthew Gardner, Christopher T Clark, Kenton Lee, and Luke S. Zettlemoyer. 2018. Deep contextualized word representations. CoRR, abs/1802.05365.

[5] HACIOGLU K. Semantic role labeling using dependency trees[C]//Proceedings of the 20th International Conference on Computational Linguistics. Stroudsburg: ACM Press, 2004: 1273.