毛竞永
武汉工程大学图书馆，湖北武汉，430205
内容摘要：突发公共事件频发会给国家和社会的稳定带来威胁，给人民的生命财产安全造成损失，如何从突发公共事件文本信息中提取出有用的信息并以结构化的形式展现，具有研究意义，对突发公共卫生事件预警和采取应对措施具有参考价值。本文定义了突发公共事件抽取的三个子任务，提出了基于BERT与Bi-LSTM-CRF的混合模型识别事件触发词和实体，提出了基于多层注意力机制的多分类模型进行事件元素抽取，运用模式匹配的方法抽取事件关系，取得较好效果。
关 键 词：突发公共事件；事件抽取；BERT模型；条件随机场；注意力机制
1.引言
近年来，突发公共事件频发，给国家和人民群众的生命及财产安全造成了巨大的威胁，扰乱了社会稳定，引发出了诸多社会问题。例如2020年爆发的新冠肺炎疫情，给全世界人民都带来了巨大的影响，不仅给人民的生命财产安全造成了威胁，同时给社会的稳定、国家的和谐带来了极大的考验。2007年国家颁布了《中华人民共和国突发事件应对法》将突发事件分为了四大类：自然灾害事件、公共卫生事件、事故灾难事件以及社会安全事件[1]。突发公共事件因其突发性的特点，一直是我们国家和政府关注的重点，2015年，中国成立了国家预警信息发布中心，对突发公共事件进行预警信息的发布，提出及时有效的应急措施方案，最大程度地帮助人们应对突发事件，减轻突发事件带来的影响和后果。然而因突发事件的突发性和不可控性，不仅需要专家们研究突发公共事件的产生原因条件以及预防措施，还需要在事件发生后短时间内对事件有一个详细的了解和掌控，尽早提出最有效的应对措施和解决办法，因此如何有效地搜集信息，分析数据，掌握突发事件的发展趋势，为国家政府部门作出相应的决策措施提供有效信息是一个重点问题，如何从大量非结构化的突发公共事件文本中提取结构化的信息，快速对事件有一个清晰的认识和掌控，是当前研究的热点问题。
本文通过围绕突发公共事件的特点，定义了突发公共事件的类型以及表示方式，将事件抽取任务定义为三个子任务，即事件识别、事件元素抽取、事件关系抽取。针对事件识别，本文提出了一种基于BERT模型和Bi-LSTM-CRF模型相结合的模型，识别文本中的事件触发词或者实体，并判断事件的具体类型。针对事件元素提取，本文提出了一种融合多层次注意力机制的多分类模型，来确定元素角色，并将事件描述进行结构化的表示。针对事件关系抽取，本文采用基于模式匹配的方法，建立了关系模板，主要就因果关系和顺承关系来进行抽取。
2.突发公共事件分类与事件表示
早期的事件表示研究主要是离散的事件表示，将事件表示为由事件元素构成的元组。Kim等[2]首次将事件表示为三元组(Oi,P,T)，给定对象的集合O，其中OiO为对象的谓词，为对象间的关系或属性，为事件发生的事件。Radinsky等[3]进一步将角色加入事件表示中，形成了六元组的结构化表示方法。随着深度学习的发展，产生了基于向量空间的稠密的事件表示方法。Li等[4]将事件元素的词向量进行拼接作为事件的向量表示。目前的事件表示方法也主要围绕上面两个方面展开。也有学者将事件表示分为了四种：事件短语或句子表示方式、事件核心词汇表示法、事件组成要素表示法以及事件的形式化语义表示模型。
事件短语或句子表示方式简洁易懂，但是难以表达复杂的事件关系；事件核心词汇表示法受到词汇多义性的限制，可能会给事件抽取带来一定困难，同时事件核心词汇法也无法表达事件具体要素和事件的复杂语义关系。事件的形式化语义表示模型与事件组成要素表示法相类似，不同点在于，前者将事件要素及各要素之间的关系进行了形似化的建模，更为复杂。因此本文采用事件组成要素表示法，将事件定义为一个六元组，结合本文的分类，在六元组中更新了一个类型要素方便后续研究。
E=(D,A,O,T,V,L) （公式1）
上式（1）中的六元组就是事件的六要素，分别为：类型要素、动作要素、对象要素、时间要素、环境要素、事件提及要素。类型要素指事件所属的具体分类；动作要素是指事件发生的过程中的具体变化和特征，包括事件的发生发生和发展程度等；对象要素是指事件的参与者；时间要素是指事件发生的具体时间或时间段；环境要素是指事件发生的场所特征；事件提及要素是指事件的语言表现规律，包括触发词合集等。
3. 基于BERT和BiLSTM－CRF混合模型的突发公共事件抽取方法
本文进行突发公共事件抽取的过程主要有三个部分：事件识别、事件元素抽取、事件关系抽取。事件识别是指从突发公共事件文本中识别出带有事件实体以及触发词的事件文本语句，并且进行事件类型的判断。事件元素抽取是指利用事件识别出的文本事件句获取相对应的事件元素，并且对元素所属类型进行判断。事件关系识别是指对已经抽取出来的事件候选对之间的关系进行识别判断。
（1）基于BERT与Bi-LSTM-CRF模型的突发公共事件识别
首先利用BERT模型来处理文本，对输入的文本进行特征提取，将文本中的词与词之间的依赖关系显性地表示出来，生成文本的特征向量。然后通过Bi-LSTM-CRF模型来特征向量进行进一步提取，并且给识别出来的触发词或实体打上标签，判断其所属类型。Bi-LSTM层同时关注联系上下文的特征，给每一个词相应的标签，得到每个词对应标签的概率，然后经过条件随机场的约束得到最终的标签序列，进而判断词语是否是事件的触发词。
BERT模型是一种NLP领域的预训练模型，就是基于Transformer的双向编码器表征，采用双向Transformer中的Encoder模块进行模型的搭建，由该层对输入的文本信息进行特征提取[5]。利用BERT模型在处理事件文本信息时，能够更好地描述突发公共事件上下文的语义特征，BERT模型的核心思想与Transformer模型一致，可以有效联系文本中的每一个词和上下文其他词，从而去除距离的限制，将当前词和句子中的其他词之间的依赖关系显性地表示出来，从而能够更好地识句子上下文的语义信息。而长短期记忆网络模型（Long Short-Term Memory，LSTM）是一种时间递归网络模型，适合处理和预测时间序列中间隔和延迟相对较长的重要事件，模型引入了门结构来决定在训练时需要保留或者遗忘的信息[6]。
由于单向的LSTM模型无法同时处理上下文信息，Graves A等[7]提出了双向长短期记忆网络模型（BiLSTM），该模型就是利用两个不同方向的LSTM，将同一个时刻的输出进行合并，因此每一个时刻都由对应的向前和向后的两个输出信息。BiLSTM虽然可以很好地处理长序文本，但是缺乏在整句层面的特征分析，无法处理相邻标签的依赖关系，所以需要借助条件随机场（CRF）[8]的帮助。CRF将序列标注的重点放在句子级别上，根据特征模板来进行标注。
（2）基于注意力机制的多分类模型的事件元素抽取
将触发词识别出来之后，事件的元素抽取实际上就是判断事件句子中的触发词-元素候选对的关系，因此将突发事件元素抽取看作一个多分类问题，引入注意力机制，结合Bi-LSTM模型来识别，增加实体类型、触发词类型的特征向量，通过实体级别的注意力机制生成最终的句子特征。
突发事件元素抽取可以看作是一个多分类问题，运用基于注意力机制的多分类模型，注意力机制最早是由Bahdanau等[9]提出的模拟人脑的注意力，将有限的注意力选择性地分配给更重要地信息的机制。在BiLSTM的输入和输出部分引入注意力机制，通过保留BiLSTM对输入序列的中间输出结果，训练模型选择性学习，并且在最终输出时将这些序列与之进行关联，加入注意力机制可以让网络重点关注序列中的某些特殊的信息，从而提高网络的特征提取能力和推理速度。
（3）基于模式匹配的突发公共事件关系抽取
突发公共事件抽取的第三个任务就是突发公共事件关系抽取，本文采用基于模式匹配的方法来进行关系抽取。
有关事件关系的定义有很多种，Zou等人[10]提出了一种中文事件模式的标注方法，其中将事件关系分为7种：因果关系、同之关系、时序关系、目的关系、部分-整体关系、并列关系、对比关系。刘宗田等人[11]将事件关系分为了两大类，分类关系和非分类关系，分类关系也称为上下位关系，非分类关系包括组成关系、因果关系、跟随关系、伴随关系等。由于事件关系的种类繁多，定义较为复杂，且我们进行突发公共事件的抽取主要是为了能够揭示突发公共事件的发展规律，厘清事件的关联，对事件有一个较为全面的了解，因此本文只考虑跟最主要的事件因果关系和顺承关系。
事件的因果关系主要是指两件事情之间，事件A是的发生导致了事件B的发生。在事理图谱中，因果关系满足原因事件在前，结果事件在后的时间上的偏序关系。
事件的顺承关系是指两件事件在时间上相继发生的一种偏序关系。在事理图谱中的顺承关系包括两种情况，一种是顺承的前序事件A结束后，后序事件B紧接着法案生，另一种情况是前序事件A结束后，要隔一段时间后序事件B才会发生。
基于模式匹配的方法是进行关系抽取常用的方法，运用模式匹配的方法在处理含有特定连接词的关系时十分方便，并且准确性高，并且操作简单。在关系抽取的领域在执行抽取任务之前，通过运用语言学知识，构造出若干基于词语、词性或者语义的模式集合并存储起来，在进行关系抽取时，将识别出来的候选对与模式集合中的模式进行匹配，一旦匹配成功，就可以认为该语句片段具有对应模式的关系属性。
突发公共事件抽取按照上述三项任务依次展开，前一项任务是后一项任务的条件，后一项任务需要在前者的基础上进行，任务前后有相应的逻辑关系。事件元素抽取需要在事件识别任务识别出来的触发词或者实体以及包含触发词的描述语句上进行，必须要先进行事件识别，得到事件触发词或实体，结合其事件类型进行事件表示，才能在突发事件表示上来进行元素抽取任务。事件关系抽取任务是要在结构化的事件基础上进行的，因此要在事件识别和事件元素抽取任务结束后生成事件对再来进行关系的识别和判断。
参考文献：
[1]中人民共和国突发事件应对法[J].建筑监督检测与造价,2009,2(09):1-7.
[2][27]KIM J. Supervenience and mind: Selected philosophical essays[M]. Cambridge University Press, 1993.
[3][28]RADINSKY K, DAVIDOVICH S, MARKOVITCH S. Learning causality for news events prediction[C]. Proceedings of the 21st international conference on World Wide Web. 2012: 909–918.
[4][29]LI Z,DING X,LIU T.Constructing narrative event evolutionary graph for script event prediction[J].arXiv preprint arXiv:1805.05081,2018.
[5]赵晓铮．基于 Attention机制的短文本情感分类方法研究[D]．北京：北京工业大学,2019.
[6]JIN Y L,XIE J F,GUO W S,et al.LSTM-CRF neural network with gated self attention for Chinese NER[J].IEEE access,2019,4(4):136694-136703.
[7]Graves A, Schmidhuber J. Framewise phoneme classification with bidirectional LSTM and other neural network architectures. Neural Network, 2005, 18(5–6): 602-610.
[8]LONG S,YUAN R,YI L,et al. A method of Chinese named entity recognition based on CNN-BiLSTM-CRF mode[C]//Proceedings of the 2018 International Conference of Pioneering Computer Scientists,Engineers and Educators,CCIS 902. Singapore:Springer,2018:161-175.
[9]BAHDANAU D,CHO K,BENGIO Y.Neural machine transla?tion by jointly learning to align and translate[EB/OL].[2021-03-12].
[10]Zou Hong-jian, Yang Er-hong, Gao Yan, et al.The Annotation of Event Schema in Chinese[C]∥23rd International Conference on Computational Linguistics.2010:72-75.
[11]刘宗田,黄美丽,周文,仲兆满,付剑锋,单建芳,智慧来.面向事件的本体研究[J].计算机科学,2009,36(11):189-192+199.