本系列文章主要分享近年來事件抽取方法總結，包括中文事件抽取、開放域事件抽取、事件數據生成、跨語言事件抽取、小樣本事件抽取、零樣本事件抽取等。主要包括以下幾大部分：

定義（Define）

綜述（Survey）

模型（Models）

數據集（Datasets）

挑戰與展望（Future Research Challenges）

事件抽取

2020

1、 Reading the Manual: Event Extraction as Definition Comprehension, EMNLP 2020[1]

動機

提出一種新穎的事件抽取方法，為模型提供帶有漂白語句（實體用通用的方式指代）的模型。漂白語句是指基于注釋準則、描述事件發生的通常情況的機器可讀的自然語言句子。實驗結果表明，模型能夠提取封閉本體下的事件，并且只需閱讀新的漂白語句即可將其推廣到未知的事件類型。

主要思想

提出了一種新的事件抽取方法，該方法考慮了通過將文本中的實體用指代的方式表示，如人用someone表示，以這種方式構造語料庫；提出了一個多跨度的選擇模型，該模型演示了事件抽取方法的可行性以及零樣本或少樣本設置的可行性。

數據集

ACE 2005

2、 Open-domain Event Extraction and Embedding for Natural Gas Market Prediction, arxiv 2020 [2]

動機

以前的方法大多數都將價格視為可推斷的時間序列，那些分析價格和新聞之間的關系的方法是根據公共新聞數據集相應地修正其價格數據、手動注釋標題或使用現成的工具。與現成的工具相比，我們的事件抽取方法不僅可以檢測現象的發生，還可以由公共來源檢測變化的歸因和特征。

主要思想

依靠公共新聞API的標題，我們提出一種方法來過濾不相關的標題并初步進行事件抽取。價格和文本均被反饋到3D卷積神經網絡，以學習事件與市場動向之間的相關性。

數據集

NYTf、FT、TG

3、 Event Extraction by Answering (Almost) Natural Questions, EMNLP 2020 [3]

主要思想

事件提取問題需要檢測事件觸發并提取其相應的參數。事件參數提取中的現有工作通常嚴重依賴于作為預處理/并發步驟的實體識別，這導致了眾所周知的錯誤傳播問題。為了避免這個問題，我們引入了一種新的事件抽取范式，將其形式化為問答(QA)任務，該任務以端到端的方式提取事件論元。實證結果表明，我們的框架優于現有的方法; 此外，它還能夠提取訓練時未見角色的事件論元。

數據集

ACE

2019

1、 Exploring Pre-trained Language Models for Event Extraction and Generation, ACL 2019[4]

動機

ACE事件抽取任務的傳統方法通常依賴被手工標注過的數據，但是手工標注數據非常耗費精力并且也限制了數據集的規模。我們提出了一個方法來克服這個問題。

主要思想

本文提出了一個基于預訓練語言模型的框架，該框架包含一個作為基礎的事件抽取模型以及一種生成被標注事件的方法。我們提出的事件抽取模型由觸發詞抽取器和論元抽取器組成，論元抽取器用前者的結果進行推理。此外，我們根據角色的重要性對損失函數重新進行加權，從而提高了論元抽取器的性能。

數據集

ACE2005

2、 Open Domain Event Extraction Using Neural Latent Variable Models, ACL2019[5]

動機

我們考慮開放域的事件抽取，即從新聞集群中抽取無約束的事件類型的任務。結果表明，與最新的事件模式歸納方法相比，這種無監督模型具有更好的性能。

主要思想

以前關于生成模式歸納的研究非常依賴人工生成的指標特征，而我們引入了由神經網絡產生的潛在變量來獲得更好的表示能力。我們設計了一種新穎的圖形模型，該模型具有潛在的事件類型矢量以及實體的文本冗余特征，而這些潛在的事件類型矢量來自全局參數化正態分布的新聞聚類。

數據集

GNBusiness

3、 Rapid Customization for Event Extraction, ACL 2019[6]

動機

從文本中獲取事件發生的時間、地點、人物以及具體做了什么是很多應用程序（例如網頁搜索和問題解答）的核心信息抽取任務之一。本文定義了一種快速自定義事件抽取功能的系統，用于查找新的事件類型以及他們的論元。

主要思想

為了能夠抽取新類型的事件，我們提出了一種新穎的方法：讓用戶通過探索無標注的語料庫來查找，擴展和過濾事件觸發詞。然后，系統將自動生成相應級別的事件標注，并訓練神經網絡模型以查找相應事件。

數據集

ACE2005

4、 Cross-lingual Structure Transfer for Relation and Event Extraction, EMNLP 2019[7]

動機

從資源不足以及標注不足的語料庫中進行復雜語義結構的識別（例如事件和實體關系）是很困難的，這已經變成了一個很有挑戰性的信息抽取任務。

主要思想

通過使用卷積神經網絡，將所有實體信息片段、事件觸發詞、事件背景放入一個復雜的、結構化的多語言公共空間，然后我們可以從源語言注釋中訓練一個事件抽取器，并將它應用于目標語言。

數據集

ACE2005

5、 Doc2EDAG: An End-to-End Document-level Framework for Chinese Financial Event Extraction, EMNLP2019[8]

與其他研究不同，該任務被定義為：事件框架填充，也就是論元檢測+識別

不同點有：不需要觸發詞檢測;文檔級的抽取;論元有重疊

動機:解碼論元需要一定順序，先后有關

主要思想:發布數據集，具有特性：arguments-scattering and multi-event,先對事件是否觸發進行預測；然后，按照一定順序先后來分別解碼論元

數據集:ten years (2008-2018) Chinese financial announcements：ChFinAnn;Crawling from

6、 Entity, Relation, and Event Extraction with Contextualized Span Representations, ACL 2019[9]

許多信息提取任務（例如命名實體識別，關系抽取，事件抽取和共指消解）都可以從跨句子的全局上下文或無局部依賴性的短語中獲益。

主要思想

將事件抽取作為附加任務執行，并在事件觸發詞與其論元的關系圖形中進行跨度更新。

在多句子BERT編碼的基礎上構建跨度表示形式。

數據集

ACE2005

7、 HMEAE: Hierarchical Modular Event Argument Extraction, EMNLP 2019 short([10]

任務:事件角色分類

動機:論元的類型（如PERSON）會給論元之間的關聯帶來影響

數據集:ACE 2005

8、 Joint Event and Temporal Relation Extraction with Shared Representations and Structured Prediction, EMNLP 2019[11]

事件之間的時序關系的提取是一項重要的自然語言理解（NLU）任務，可以使許多下游任務受益。提出了一種事件和事件時序關系的聯合抽取模型，該模型可以進行共享表示學習和結構化預測。

主要思想

提出了一個同時進行事件和事件時序關系抽取的聯合模型。這樣做的好處是：如果我們使用非事件之間的NONE關系訓練關系分類器，則它可能具有修正事件抽取錯誤的能力。

通過在事件抽取和時序關系抽取模塊之間首次共享相同的上下文嵌入和神經表示學習器來改進事件的表示。

數據集：TB-Dense and MATRES datasets

9、 Open Event Extraction from Online Text using a Generative Adversarial Network, EMNLP 2019[12]

提取開放域事件的結構化表示的方法通常假定文檔中的所有單詞都是從單個事件中生成的，因此他們通常不適用于諸如新聞文章之類的長文本。為了解決這些局限性，我們提出了一種基于生成對抗網絡的事件抽取模型，稱為對抗神經事件模型（AEM）。

主要思想

AEM使用Dirichlet先驗對事件建模，并使用生成器網絡來捕獲潛在事件的模式，鑒別器用于區分原始文檔和從潛在事件中重建的文檔，鑒別器網絡生成的特征允許事件抽取的可視化。

數據集：Twitter, and Google datasets

10、 Reporting the unreported: Event Extraction for Analyzing the Local Representation of Hate Crimes, EMNLP 2019[13]

動機：將事件抽取和多實例學習應用于本地新聞文章的語料庫，可以用來預測仇恨犯罪的發生。

主要思想

根據是否為仇恨罪標記每篇文章的任務被定義為多實例學習（MIL）問題。我們通過使用文章所有句子中嵌入的信息來確定文章是否報道了仇恨犯罪。在一組帶標注的文章上測試了模型之后，我們將被訓練過的模型應用于聯邦調查局沒有報道過的城市，并對這些城市中仇恨犯罪的發生頻率進行了下界估計。

11、 Extracting entities and events as a single task using a transition-based neural model, IJCAI 2019[14]

事件抽取任務包括許多子任務：實體抽取，事件觸發詞抽取，論元角色抽取。傳統的方法是使用pipeline的方式解決這些任務，沒有利用到任務間相互關聯的信息。已有一些聯合學習的模型對這些任務進行處理，然而由于技術上的挑戰，還沒有模型將其看作一個單一的任務，預測聯合的輸出結構。本文提出了一個transition-based的神經網絡框架，以state-transition的過程，遞進地預測復雜的聯合結構。

主要思想

使用transition-based的框架，通過使用遞增的output-building行為的state-transition過程，構建一個復雜的輸出結構。在本文中我們設計了一個transition系統以解決事件抽取問題，從左至右遞增地構建出結構，不使用可分的子任務結構。本文還是第一個使transition-based模型，并將之用于實體和事件的聯合抽取任務的研究。模型實現了對3個子任務完全的聯合解碼，實現了更好的信息組合。

數據集：ACE2005

12、 Biomedical Event Extraction based on Knowledge-driven Tree-LSTM, CCL 2016[15]

生物醫學領域的事件抽取比一般新聞領域的事件抽取更具挑戰性，因為它需要更廣泛地獲取領域特定的知識并加深對復雜情境的理解。為了更好地對上下文信息和外部背景知識進行編碼，我們提出了一種新穎的知識庫（KB）驅動的樹結構長短期記憶網絡（Tree-LSTM）框架。

主要思想

該框架合并了兩種功能：（1）抓取上下文背景的依賴結構（2）通過實體鏈接從外部本體獲得實體屬性（類型和類別描述）。

數據集：Genia dataset

13、 Joint Event Extraction Based on Hierarchical Event Schemas From FrameNet, EMNLP 2019 short[16]

事件抽取對于許多實際應用非常有用，例如新聞摘要和信息檢索。但是目前很流行的ACE事件抽取僅定義了非常有限且粗糙的事件模式，這可能不適合實際應用。FrameNet是一種語言語料庫，它定義了完整的語義框架和框架間的關系。由于FrameNet中的框架與ACE中的事件架構共享高度相似的結構，并且許多框架實際上表達了事件，因此，我們建議基于FrameNet重新定義事件架構。

主要思想

提取FrameNet中表示事件的所有框架，并利用框架與框架之間的關系建立事件模式的層次結構。

適當利用全局信息（例如事件間關系）和事件抽取必不可少的局部特征（例如詞性標簽和依賴項標簽）。基于一種利用事件抽取結果的多文檔摘要無監督抽取方法，我們使用了一種圖排序方法。

數據集：ACE 2005，FrameNet 1.7 corpus

14、 One for All: Neural Joint Modeling of Entities and Events, AAAI 2019[17]

事件抽取之前的工作主要關注于對事件觸發器和論元角色的預測，將實體提及視為由人工標注提供的。這是不現實的，因為實體提及通常是由一些現有工具包預測的，它們的錯誤可能會傳播到事件觸發器和論元角色識別。

最近很少有研究通過聯合預測實體提及、事件觸發器和論元來解決這個問題。然而，這種工作僅限于使用離散的工程特征來表示單個任務及其交互的上下文信息。在這項工作中，提出了一個基于共享的隱層表示的新的模型來聯合執行實體提及，事件觸發和論元的預測。實驗證明了該方法的優點，實現了最先進性能的事件抽取。

數據集：ACE 2005

2018

1、 Scale up event extraction learning via automatic training data generation, AAAI 2018[18]

動機：現有的訓練數據必須通過專業領域知識以及大量的參與者來手動生成，這樣生成的數據規模很小，嚴重影響訓練出來的模型的質量。因此我們開發了一種自動生成事件抽取訓練數據的方法。

主要思想

提出了一種基于神經網絡和線性規劃的事件抽取框架，該模型不依賴顯式觸發器，而是使用一組關鍵論元來表征事件類型。這樣就不需要明確識別事件的觸發因素，進而降低了人力參與的需求。

數據集：Wikipedia article

2、 DCFFE: A Document-level Chinese Financial Event Extraction System based on Automatically Labelled Training Data, ACL 2018 [19]

在某些特定領域，例如金融，醫療和司法領域，由于數據標注過程的成本很高，因此標注數據不足。此外，當前大多數方法都關注于從一個句子中提取事件，但通常在一個文檔中，一個事件由多個句子表示。我們提出一種方法來解決這個問題。

主要思想

提供了一個名為DCFEE的框架，該框架可以從被自動標注過的訓練數據中抽取文檔級事件。使用一個序列標注模型來自動抽取句子級事件，并且提出了一個關鍵事件檢測模型和一個論元填充策略，進而從文檔中提取整個事件。

數據集：Chinese financial event dataset

3、 Jointly Extraction Event Triggers and Arguments by Dependency-Bridge RNN and Tensor-Based Argument Interaction, AAAI 2018 [20]

傳統的事件抽取很大程度上依賴詞匯和句法特征，需要大量的人工工程，并且模型通用性不強。另一方面，深度神經網絡可以自動學習底層特征，但是現有的網絡卻沒有充分利用句法關系。因此本文在對每個單詞建模時，使用依賴橋來增強它的信息表示。說明在RNN模型中同時應用樹結構和序列結構比只使用順序RNN具有更好的性能。另外，利用張量層來同時捕獲論元之間的關系以及其在事件中的角色。實驗表明，模型取得了很好地效果。

主要思想

實現了事件觸發詞以及論元的聯合抽取，避開了Pipeline方法中錯誤的觸發詞識別結果會在網絡中傳播的問題；同時聯合抽取的過程中，有可能通過元素抽取的步驟反過來糾正事件檢測的結果。

將元素的互信息作為影響元素抽取結果的因素

在構建模型的過程中使用了句法信息。

數據集：ACE2005

4、 Zero-Shot Transfer Learning for Event Extraction, ACL2018[21]

以前大多數受監督的事件抽取方法都依賴手工標注派生的特征，因此，如果沒有額外的標注工作，這些方法便無法應對于新的事件類型。設計了一個新的框架來解決這個問題。

主要思想

每個事件都有由候選觸發詞和論元組成的結構，同時這個結構具有和事件類型及論元相一致的預定義的名字和標簽。我們增加了事件類型以及事件信息片段的語義代表( semantic representations)，并根據目標本體中定義的事件類型和事件信息片段的語義相似性來決定事件的類型

數據集：ACE2005

5、 Joint Entity and Event Extraction with Generative Adversarial Imitation Learning, CCL 2016 [23]

提出了一種基于生成對抗的模仿學習的實體與事件抽取框架，這種學習是一種使用生成對抗網絡（GAN）的逆強化學習方法。該框架的實際表現優于目前最先進的方法。

主要思想

在本文中，提出了一種動態機制——逆強化學習，直接評估實體和事件抽取中實例的正確和錯誤標簽。我們為案例分配明確的分數，或者根據強化學習（RL）給予獎勵，并采用來自生成對抗網絡（GAN）的鑒別器來估計獎勵價值。

6、 Joint Multiple Event Extraction via Attention-based Graph Information Aggregration, EMNLP 2018 [24]

比抽取單個事件更困難。在以往的工作中，由于捕獲遠距離的依賴關系效率很低，因此通過順序建模的方法在對事件之間的聯系進行建模很難成功。本文提出了一種新的框架來解決這個問題。

主要思想

本文提出JMEE模型（Jointly Multiple Events Extraction），面向的應用是從一個句子中抽取出多個事件觸發器和參數（arguments）。JMEE模型引入了syntactic shortcut arcs來增強信息流并且使用基于attention的GCN建模圖數據。實驗結果表明本文的方法和目前最頂級的方法相比，有著可以媲美的效果。

數據集：ACE2005

7、 Semi-supervised event extraction with paraphrase clusters, NAACL 2018[25]

受監督的事件抽取系統由于缺乏可用的訓練數據而其準確性受到限制。我們提出了一種通過對額外的訓練數據進行重復抽樣來使事件抽取系統自我訓練的方法。這種方法避免了訓練數據缺乏導致的問題。

主要思想

我們通過詳細的事件描述自動生成被標記過的訓練數據，然后用這些數據進行事件觸發詞識別。具體來說，首先，將提及該事件的片段聚集在一起，形成一個聚類。然后用每個聚類中的簡單示例來給整個聚類貼一個標簽。最后，我們將新示例與原始訓練集結合在一起，重新訓練事件抽取器。

數據集：ACE2005, TAC-KBP 2015

2017

1、 Automatically Labeled Data Generation for Large Scale Event Extraction, ACL 2017 [26]

手動標記的訓練數據成本太高，事件類型覆蓋率低且規模有限，這種監督的方法很難從知識庫中抽取大量事件。

主要思想

提出了一種按重要性排列論元并且為每種事件類型選取關鍵論元或代表論元方法

僅僅使用關鍵論元來標記事件，并找出關鍵詞

用外部語言知識庫FrameNet來過濾噪聲觸發詞并且擴展觸發詞庫。

數據集：ACE2005

2016

1、 RBPB Regularization Based Pattern Balancing Method for Event Extraction,ACL2016 [27]

在最近的工作中，當確定事件類型（觸發器分類）時，大多數方法要么是僅基于模式（pattern），要么是僅基于特征。此外，以往的工作在識別和文類論元的時候，忽略了論元之間的關系，只是孤立的考慮每個候選論元。

主要思想

在本文中，我們同時使用‘模式’和‘特征’來識別和分類‘事件觸發器’。此外，我們使用正則化方法對候選自變量之間的關系進行建模，以提高自變量識別的性能。我們的方法稱為基于正則化的模式平衡方法。

數據集：ACE2005

2、 Leveraging Multilingual Training for Limited Resource Event Extraction, COLING 2016 [28]

迄今為止，利用跨語言培訓來提高性能的工作非常有限。因此我們提出了一種新的事件抽取方法。

主要思想

在本文中，我們提出了一種新穎的跨語言事件抽取方法，該方法可在多種語言上進行訓練，并利用依賴于語言的特征和不依賴于語言的特征來提高性能。使用這種系統，我們旨在同時利用可用的多語言資源（帶注釋的數據和引入的特征）來克服目標語言中的注釋稀缺性問題。從經驗上我們認為，我們的方法可以極大地提高單語系統對中文事件論元提取任務的性能。與現有工作相比，我們的方法是新穎的，我們不依賴于使用高質量的機器翻譯的或手動對齊的文檔，這因為這種需求對于給定的目標語言可能是無法滿足的。

數據集：ACE2005

3、 A convolution bilstm neural network model for chinese event extraction, NLPCC 2016 [29]

在中文的事件抽取中，以前的方法非常依賴復雜的特征工程以及復雜的自然語言處理工具。本文提出了一種卷積雙向LSTM神經網絡，該神經網絡將LSTM和CNN結合起來，可以捕獲句子級和詞匯信息，而無需任何人為提供的特征。

主要思想

首先使用雙向LSTM將整個句子中的單詞的語義編碼為句子級特征，不做任何句法分析。然后，我們利用卷積神經網絡來捕獲突出的局部詞法特征來消除觸發器的歧義，整個過程無需來自POS標簽或NER的任何幫助。

數據集：ACE2005， KBP2017 Corpus

4、 Liberal Event Extraction and Event Schema Induction, AACL 2016 [30]

結合了象征式的（例如抽象含義表示）和分布式的語義來檢測和表示事件結構，并采用同一個類型框架來同時提取事件類型和論元角色并發現事件模式。這種模式的提取性能可以與被預定義事件類型標記過的大量數據訓練的監督模型相媲美。

主要思想

我們試圖將事件觸發器和事件論元聚類，每個聚類代表一個事件類型。我們將分布的相似性用于聚類的距離度量。分布假設指出，經常出現在相似語境中的單詞往往具有相似的含義。

兩個基本假設：

出現在相似的背景中并且有相同作用的事件觸發詞往往具有相似的類型。

除了特定事件觸發器的詞匯語義外，事件類型還取決于其論元和論元的作用，以及上下文中與觸發器關聯的其他單詞。

數據集：ERE (Entity Relation Event)

5、 Joint Learning Templates and Slots for Event Schema Induction, NAACL 2016 [31]

我們提出了一個聯合實體驅動模型，這種模型可以根據同一句子中模板和各種信息槽（例如attribute slot和participate slot）的限制，同時學習模板和信息槽。這樣的模型會得到比以前的方法更好的結果。

主要思想

為了更好地建立實體之間的內在聯系的模型，我們借用圖像分割中的標準化切割作為聚類標準。同時我們用模板之間的約束以及一個句子中的信息槽之間的約束來改善AESI結果。

數據集：MUC-4

6、 Joint Event Extraction via Recurrent Neural Networks, NAACL 2016 [32]

任務:給定實體標簽；通過序列標注識別觸發詞和論元*

動機:論元之間有著相關關系，某些論元已經識別出來可能會導致一些論元共現,RNN減少錯誤傳播

主要思想:使用RNN來標注要素，通過記憶矩陣來增強要素之間的關聯。

數據集：ACE2005

2015

1、 Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks, ACL2015 [33]

任務：給定候選實體的位置；完成觸發詞識別，觸發詞分類，論元識別，論元分類

動機：在于一個句子中可能會有多個事件，如果只用一個池化將導致多個事件的句子級特征沒有區別。因此引入動態多池化

主要思想：采用動態多池化的方式，以trigger和candidate作為分隔符[-trigger-candidate-]，將句子池化成三段；動機在于一個句子中可能會有多個事件，如果只用一個池化將導致多個事件的句子級特征沒有區別。將任務目標轉換成句子分類任務，從而完成任務。

數據集：ACE2005

2、 Generative Event Schema Induction with Entity Disambiguation, AACL2015 [34]

動機：以往文獻中的方法僅僅使用中心詞來代表實體，然而除了中心詞，別的元素也包含了很多重要的信息。這篇論文提出了一種事件模式歸納的生成模型來解決這個問題。

主要思想：模式歸納是指從沒有被標記的文本中無監督的學習模板（一個模板定義了一個與實體的語義角色有關的特定事件的類型）。想法是：基于事件模板中相同角色對應的這些實體的相似性，將他們分組在一起。例如，在有關恐怖襲擊的語料庫中，可以將要被殺死，要被攻擊的對象的實體組合在一起，并以名為VICTIM的角色為它們的特征。

原文標題：NLP 事件抽取綜述（中）—— 模型篇

文章出處：【微信公眾號：深度學習自然語言處理】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq