一年一度的NeurIPS又開始啦！寒冷的蒙特利爾這一周將開啟AI模式，來自世界各地的研究人員、相關企業和學者將齊聚這里探討AI的最新進展和未來發展。

為期七天的會議將帶來一系列豐富的主題演講、論文口頭報告、海報展示、demo展示等內容。我們為各位小伙伴帶來了今天即將舉行教程部分的內容概覽，以及即將到來的Oral口頭報告的精彩內容預告。

Tutorials 新理論新方法新技術

Adversarial Robustness: Theory and Practice

來自CMU和MIT的研究人員將對于如何實現真正可靠和魯棒的機器學習系統進行講解。這一教程首先對這一領域存在的關鍵挑戰進行了綜述，并集中在對抗魯棒性這一問題上進行深入細致的分析。將從理論和實踐角度討論這一問題的各個方面，并將展示近年來一些經過驗證的有效做法。

Scalable Bayesian Inference

來自杜克大學的研究人員將帶來利用貝葉斯統計方法應用于大規模數據集分析的前沿方法。教程將集中與兩個方面，首先是應用于大規模數據的算法，其次是處理超高維度數據的手段。教程首先將回顧經典的大樣本近似后驗分布方法（拉普拉斯方法和貝葉斯中心極限定理），隨后轉向利用馬爾科夫蒙特卡洛算法那的概念與實踐方法。主要的注意力將放在如何在保證精度的情況下，快速的獲取大規模數據集的后驗。

Visualization for Machine Learning

對于機器學習來說，可視化是幫助我們理解算法和數據的有效手段。這一教程將概覽目前的機器學習可視化方法，如何在研究的不同階段使用合適的可視化方法：分析訓練數據、理解模型、測試模型分析等。同時還將探索可視化在教育以及非技術領域的應用價值。

Unsupervised Deep Learning

非監督學習在深度學習領域起到越來越重要的作用，其最主要的挑戰在于如何確定目標函數。這一教程將提供一種概率模型的方法，它將對數據進行盡可能的壓縮。同時教程還將提供包括非歸一化的基于能量的方法、自監督算法以及生成模型等方法。

Automatic Machine Learning

機器學習的成功最開始依賴于人類的經驗，需要經驗豐富的研究人員構建復雜的特征工程和選擇合適的機器學習方法、架構并詳細的調節各種超參數。但自動機器學習的出現將逐漸改變這一狀況，通過機器學習和優化方法來提供一種無須專業知識就可以使用的模型。這一領域十分廣泛，包含了超參數優化、神經網絡搜索、元學習和遷移學習等方向。這一教程將概述目前前沿的方法和技術。

Statistical Learning Theory: a Hitchhiker's Guide

這一教程將展示統計學習如何評估和實現學習系統，通過強調算法如何從結果中獲得反饋來提升性能，并理解其極限。這一教程主要為希望進一步了解統計學習的研究人員準備。

此外還有以下教程等待著各位熱愛學習的小伙伴們：

Common Pitfalls for Studying the Human Side of Machine Learning

Counterfactual Inference

Negative Dependence, Stable Polynomials, and All That

Oral 報告前沿進展

Oral部分的演講往往會帶來很多優秀的研究成果。下面讓我們一起來看看有哪些有趣的報告吧！

Learning to Reconstruct Shapes from Unseen Classes

從單張圖片重建未知物體。來自MIT的研究人員設計了一種稱為Generalizable Reconstraction(GenRe)的算法，來從訓練數據中抽取更多一般的與類別無關的形狀信息。通過結合了可見表面的2.5D表示、可見和不可見表面的球形表示以及三位體素表示來探索了3D形狀如何得到2D圖片的過程，并成功的利用訓練的網絡從單張圖片中恢復出訓練集中不存在物體的三維形狀。

文章中提出的模型有三部分構成：首先是一個從深度估計器；隨后是一個球面圖像補全網絡，最后是一個體素精煉網絡。最后通過體素和深度圖的疊加來實現3D形狀輸出。

下圖是網絡的預測，網絡僅僅在汽車、飛機和椅子的數據上進行了訓練，這表明模型已經學習到了形狀的通用表示。

Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning

泰國科技學院和谷歌的研究人員提出了利用端到端的幾何推理方法發現潛在的3D關鍵點。這篇文章中，研究人員提出了KeyPointNet幾何推理框架來學習優化每一類特定的3D關鍵點及其檢測器。這一框架在3D位姿估計任務中可以搜尋到一組最優的關鍵點集來重建某個物體在兩個視角下的相對位姿。

同時它可以從不同視角的圖像中發現幾何和語義上一致的關鍵點，并在位姿估計任務中超越了全監督學習的網絡表現。訓練過程和推理過程如下，其中兩個視角下的剛體變換作為監督信號，網絡優化得到了一組在兩個視角下都一致的關鍵點。

網絡得到的關鍵點如上圖所示

Isolating Sources of Disentanglement in VAEs

多倫多大學向量學院的研究人員研究了隱變量間整體相關性，發現了解構的變分下界可以用于解釋β-VAE用于學習解耦隱變量的能力，它鼓勵模型尋找統計上相互獨立的因素。隨后提出了一種稱為β-TCVAE（total correlation VAE）的算法用于代替β-VAE來學習解耦的隱變量。最后研究人員還提出了一個與類別無關的解耦計量指標MIG（mutual information gap）。基于這一算法訓練的模型顯示了解耦和整體相關性間的強烈關系。

上圖顯示了利用這種算法對于隱空間變量結構的學習和效果

Policy Optimization via Importance Sampling

來自米蘭理工的研究人員們提出了一種基于重要性采樣的策略優化方法。這篇文章中提出了一種新穎的不基于模型測策略搜索算法POIS（Policy Optimization via Importance Sampling），可以用于基于行為或者基于參數的方式。在這一研究中，研究人員首先得到高置信度的重要性采樣估計，隨后定義了代理目標函數來進行線下優化，最終在一系列連續控制任務中進行了線性和深度策略的測試。

Neuronal Capacity

來自加州大學歐文分校的研究人員認為，學習機器的能力可以被定義為它可以執行函數數量的對數。在這一工作中，研究人員回顧了已有的工作并推導出了新的結果，同時對多種神經模型的容量進行了計算：包括線性和多項式閾值門、線性和多項式受限閾值門以及ReLU神經元，同時還推導了一些網絡的容量。

上圖是不同布爾函數在N個變量下的分級容量圖。

Dendritic cortical microcircuits approximate the backpropagation algorithm

來自伯爾尼、蒙特利爾大學的研究人員提出了利用樹突皮質微電（回）路來近似反向傳播的方法。在這篇文章中研究人員們基于簡化的輸入間隔引入了一種多層神經網絡模型，它可以基于誤差驅動突觸可塑性適應網絡的全局輸出。與先前方法不同的是，這種模型不需要分成幾個部分，突觸學習是通過局域樹突的連續誤差信號驅動的。這一誤差信號來自于預測信號和實際信號不匹配的時候，通過簡單地使用樹突間隔，這一模型可以表示神經元的誤差和正常活動。研究人員還將其用于回歸和分類任務中，并發現它可以近似誤差反向計算的BP算法。

圖中顯示了樹突皮質近似bp算法的原理。

A Retrieve-and-Edit Framework for Predicting Structured Outputs

斯坦福的研究人員實現了可以預測結構化輸出的檢索-編輯框架。對于生成源代碼這樣復雜的結構化輸出任務來說，通過對已有的代碼進行編輯比從零開始生成容易的多。基于這樣的想法，研究人員提出了一種新的框架：首先根據輸入檢索出訓練樣本，隨后對其進行編輯得到期望的輸出結果。這種方法無需復雜的手工度量或與編輯器進行聯調，計算高效適應性強。作者表示這一框架可以用于任何基礎框架之上，并在Github Python代碼和Hearthstone card上取得了優異的結果。

框架如上圖所示

顯示一些基于檢索-編輯框架生成的源碼。

Model-Agnostic Private Learning

牛津大學的研究人員在神經科學的啟發下研究了如何實現知識泛化（一般化）的能力，在本文中提出為了一般化結構化的知識、表示世界結構的知識（例如世界中的實體間的相互關系）需要與實體自身的表示進行分離。研究表明，在這一觀點的指導下、利用層級和記憶實現的神經網絡可以學到記憶的統計信息并泛化結構化知識，同時空間認知能力是更一般化組織原則的實例。

結構化與傳感信息的獨立表示在銜接編碼中結合。右圖顯示了模型需要從不同的域中抽取出一般化的統計信息。

除此之外，還有包括學習理論、優化過程、強化學習、采樣、近似和各個領域詳盡的理論分析。感興趣的小伙伴可以在這里找到更多的Oral報告：https://neurips.cc/Conferences/2018/Schedule?type=Oral