谷歌研究公司（Google Research）的合著者本周發(fā)表的一項預印研究將實體描述為專家（EAE），這是一種新型的機器學習模型，可以訪問樣本文本中提到的實體（例如，人、地點、組織、日期、時間和數(shù)字）的記憶。 他們聲稱，它的性能優(yōu)于兩個最先進的模型，數(shù)據(jù)少得多，同時捕捉更多的事實知識，并且比它所基于的變形金剛體系結構更模塊化和更可解釋。

如果同行評審證實了研究人員對EAE的說法，它可以解決一個長期存在的自然語言處理挑戰(zhàn)：在不注入特定實體知識的情況下獲得回答世界問題所需的知識。 在企業(yè)環(huán)境中，EAE可以為攝入特定領域信息語料庫的聊天機器人奠定基礎，并用最有可能相關的信息回答有關語料庫的問題。

EAE包含神經(jīng)元（數(shù)學函數(shù)），它們排列在從輸入數(shù)據(jù)傳輸信號并調(diào)整每個連接的強度（權重）的層中，就像所有深層神經(jīng)網(wǎng)絡一樣。 這就是它如何提取特征并學會進行預測，但是由于EAE是基于變壓器架構的，所以它受到了關注。 這意味著每個輸出元素都連接到每個輸入元素，并且動態(tài)計算它們之間的權重。

獨特的是，EAE還包含實體內(nèi)存層，使其能夠“理解”并以高度數(shù)據(jù)效率的方式回答有關文本的問題。 該模型直接從文本中學習知識，以及其他模型參數(shù)（即從數(shù)據(jù)中估計的配置變量和模型在進行預測時所需的配置變量），并將內(nèi)存與特定實體或數(shù)據(jù)類型（如標題和數(shù)字表達式）聯(lián)系起來。