【編者按】Microsoft Semantic Machines資深研究科學(xué)家、UC Berkeley計算機(jī)科學(xué)博士Jacob Andreas討論了基于部分可觀察馬爾可夫決策過程思考自然語言處理和強(qiáng)化學(xué)習(xí)問題的一些想法。

AI研究應(yīng)該操心話語含義的明確表示嗎？我這里說的“含義的明確表示”指具備預(yù)定義的解釋的結(jié)構(gòu)化變量——語義學(xué)家關(guān)心的那類事情。長期以來，這樣的含義表示一直是將語義與其他任務(wù)連接起來的成功努力的中心，這些任務(wù)涉及推理、感知、行動（從SHRDLU到現(xiàn)代語義解析器）。另外，長期以來，結(jié)構(gòu)化的含義表示同時也是一些不成功的工作的中心，這些工作包括機(jī)器翻譯、句法等。這種表示使用了許多不同的表示形式化系統(tǒng)——新戴維森邏輯形式（AZ13），組合子邏輯（LJK11），其他非邏輯結(jié)構(gòu)（TK+11）——不過，從某種角度上來說，它們基本上都屬于基于預(yù)測-論據(jù)結(jié)構(gòu)實現(xiàn)的模型-理論語義，也許預(yù)言主體有幾個自由變量。

這類方法看起來正在消失。現(xiàn)在所有一切都是端到端的，接受手工設(shè)計的邏輯語言的值，帶有這樣的顯式潛變量的模型非常罕見。話語傳入模型，模型產(chǎn)生行為，我們并不怎么操心中間進(jìn)行的運(yùn)算的結(jié)構(gòu)。從某種標(biāo)準(zhǔn)上來說，這是一件好事：在更形式化的方法中，機(jī)器學(xué)習(xí)和表示的緊密耦合意味著，數(shù)據(jù)中出現(xiàn)新的語義現(xiàn)象導(dǎo)致模型突然變得無用的風(fēng)險始終存在。足夠一般的學(xué)習(xí)表示的機(jī)制（非邏輯）讓這一風(fēng)險不那么可怕了。當(dāng)然，在舊模型中毫不費(fèi)力就能得到的一些特定種類的概括和歸納偏置，我們尚未完全搞清楚如何重建。不過，結(jié)構(gòu)化正則器（OS+17）和我們的NMN工作（AR+16）這樣的混合方法的成功，暗示我們將逐漸達(dá)到這一步。

但是端到端世界的態(tài)度看起來是，既然我們不再進(jìn)行邏輯推理，那么我們完全沒有必要考慮含義。突然之間，所有人都喜歡稱引維特根斯坦，主張我們應(yīng)該以下游任務(wù)的成功來評估“語言理解”，而不是通過預(yù)測正確的邏輯形式（WLM16、GM16、LPB16）——這很棒！——但是這背后似乎有這么一種哲學(xué)：“含義即使用，所以如果我們能以很高的精確度預(yù)測使用，那么我們就已經(jīng)理解了我們需要理解的關(guān)于含義的一切”。特別是考慮到我們實際上并沒有解決“使用”，我認(rèn)為機(jī)器學(xué)習(xí)在等式的含義這邊有很多需要學(xué)、需要說的。而且我從不認(rèn)為這是維特根斯坦《哲學(xué)研究》中的主張——就算使用（而不是指代）是我們應(yīng)該嘗試解釋的主要內(nèi)容，《哲學(xué)研究》則對依據(jù)哪種語言使用是可能的判斷~~心智表示~~過程表示特別感興趣。

本文的主張是，p(世界狀態(tài)|話語)形式的信念狀態(tài)的明確表示，適合作為“非結(jié)構(gòu)”機(jī)器學(xué)習(xí)模型的含義表示。這類表示很自然地源于社區(qū)最近熱衷的決策任務(wù)，但也和語言學(xué)的經(jīng)典表示理論很像。這一綜合暗示了同時訓(xùn)練和解釋語言處理模型的道路。

信念狀態(tài)和內(nèi)涵

考慮這樣一個問題，在部分觀察的世界中，通過和人們交談降低不確定性，決定如何行動。你應(yīng)該如何選擇應(yīng)該采取的最佳行動？給定單一話語w，可能真實的世界狀態(tài)x，就某風(fēng)險函數(shù)R而言，最小化貝葉斯風(fēng)險的行動為：

任何希望在這個世界成功的聽話人需要至少成功地逼近這一優(yōu)化問題的解，在實踐中，聽話人大概需要表示分布p(x|w)，至少隱式地表示。在POMDP中，我們稱p(x|w)為信念狀態(tài)；對一給定w而言，這是一個映射可能世界x至變量可信度判斷的函數(shù)——給定我們觀察到某人說了w這一事實，x是真實世界的可能性有多大？

和蒙塔古語義學(xué)中的內(nèi)涵概念對比一下：“映射可能世界和時刻至真值的函數(shù)”（J11）。大多數(shù)（模型-理論）語義程序使用邏輯表達(dá)式（而不是表格）表示內(nèi)涵。但邏輯形式只不過是表達(dá)類型正確的函數(shù)的一種方式；在蒙塔古傳統(tǒng)下，“含義的明確表示”正是內(nèi)涵——類似p(x|w)的離散版。

信念狀態(tài)是包含概率的內(nèi)涵。含義的內(nèi)涵表示很有用，不僅是因為它們有助于解決語言學(xué)問題，還因為它們逼近一個量，我們知道，這個量有助于語言使用者利用從語言中獲取的信息進(jìn)行有用之事。另一方面，POMDP告訴我們，我們需要在聽到話語后進(jìn)行的計算，差不多是語言學(xué)家至始自終告訴我們需要計算的東西。或者，幾乎就是語言學(xué)習(xí)家已經(jīng)告訴我們的東西——比起回答p(x|w)請求的黑箱，如果是帶一點結(jié)構(gòu)的東西就更好了，也許是某種分解表示，讓我們可以通過檢查所有可信世界共有的一組屬性高效地找出MBR行動。也許是關(guān)于個體的斷言、他們的性質(zhì)、他們之間的關(guān)系……等的乘積。要是邏輯語義學(xué)不存在的話，我們將不得不發(fā)明它。

準(zhǔn)確地說，作為“含義”的p(x|w)應(yīng)該理解為聽話人含義：已經(jīng)計入格萊斯說話人含義類型效應(yīng)（寓意）以及說話人也許不想讓聽話人進(jìn)行的進(jìn)一步推理（例如，w是謊言的概率）的精確信念狀態(tài)。我們這里不在乎p(x|w)來自何處，所以也許可以通過RSA之類的技術(shù)計算（使用不同的內(nèi)嵌句含義概念）（FG12）。

最后一項調(diào)整：現(xiàn)實世界聽話人并不從白板開始：所有話語都基于現(xiàn)存信念狀態(tài)p(x)的上下文進(jìn)行解讀，與其將句子的含義直接視作p(x|w)，不如將其視作一個更新函數(shù)p(x) ? p(x∣w)。就“Pat loves Lou”這樣的句子而言，我想這一更新基本上一直是連續(xù)的；即p(x) ? (1/Z)?p(x)?p(x∣w). 但要處理指示詞和Quine問題中bachelor的含義（譯者注：bachelor既可以指學(xué)士，也可以指單身漢），我們需要更新函數(shù)的一般版本。

實際影響

這些都很好，不過我們注意到明確指稱含義表示（邏輯、概率或其他形式）并沒有在實踐中表現(xiàn)良好的那些模型中得到應(yīng)用。所以這有什么可在意的？

語言理解系統(tǒng)要想工作良好，必定選擇了類似最小貝葉斯風(fēng)險的行動。奧妙在于：深度網(wǎng)絡(luò)的后綴是一個通過固定回路轉(zhuǎn)換輸入表示至輸出行動的函數(shù)；如果這個后綴可以為每個輸入表示選擇良好的行動，那么它實際上實現(xiàn)了類似MBR解碼算法的東西（盡管也許只是逼近，同時在表示的經(jīng)驗分布上特化）；呈現(xiàn)給這一部分網(wǎng)絡(luò)的語言上下文表示必須足以解決優(yōu)化問題，所以會是類似p(x|w)表示的東西。

這不是一個很好的論據(jù)：模型的“句子表示”和“優(yōu)化”部分之間可能實際上沒有明顯的界限。但在實踐中，我們確實看到了含義類的句子表示出現(xiàn)（特別是在句子表示獨(dú)立于聽話人具備的關(guān)于世界狀態(tài)的初始信息計算的模型中（DP+18））。當(dāng)在較大規(guī)模網(wǎng)絡(luò)中使用專門化的優(yōu)化模塊時（TW+17、LFK18），我們可以很明確地看到兩者的差別。

在任何情形下，我們模型的某種中間表示解碼（或應(yīng)該能解碼）知識為世界狀態(tài)分布，并為我們提供了兩種工具：

可解釋性：通過估計p(x|rep(w))可以測試表示是否捕捉了正確的語義（或者識別表示捕捉了什么奇異的不規(guī)則性），其中rep(w)是模型學(xué)習(xí)到的話語w的表示。判斷這是否對應(yīng)于w的真實（即人類聽話人的）指稱。我們發(fā)表的一些論文（ADK17、AK17）在這一技術(shù)上取得了一些進(jìn)展。我們組的其他一些學(xué)生使用這一技術(shù)分析遵循指令的模型的預(yù)訓(xùn)練方案。不過，某種程度上，應(yīng)用這一技術(shù)學(xué)習(xí)自然語言自身的表示要比應(yīng)用于學(xué)習(xí)到的消息/抽象行動的空間更加自然。

輔助目標(biāo)：指令遵循/QA問題的一般目標(biāo)是p(行動|話語, 聽話人觀測)。不過，如果碰到了過擬合問題，在說話人觀測可用的情況下，可以直接加上一項p(說話人觀測, 聽話人觀測|話語)。對某些問題而言（例如GeoQuery類的語義解析），在“說話人觀測”和“行動”之間不存在有意義的差別；對另一些問題而言，這看起來像是完全不同的學(xué)習(xí)問題。在指代表達(dá)任務(wù)中，指稱輔助問題是“生成/獲取圖像對，在這一對對圖像之間，這將是不同的描述”；在指令遵循模型中，它是“生成目標(biāo)狀態(tài)（但未必是能讓我到達(dá)那里的行動）”。

結(jié)語

在語言任務(wù)中思考POMDP風(fēng)格的解答，我們得到了疑似模型-理論語義學(xué)中的含義的描述。這一類比提供了解釋學(xué)習(xí)到的模型的工具，并暗示了提升模型精確度的輔助目標(biāo)。