在 16 日的「AI+醫療」論壇上，美國羅格斯大學計算機科學系杰出教授、計算生物醫學影像與建模中心（CBIM）主任 Dimitris Metaxas 做了主題為《基于模型的醫療應用大規模分析》的演講。

Dimitris Metaxas 教授一直致力于形式化方法的開發，以促進醫學圖像分析、計算機視覺、計算機圖形學以及對多模態語言的理解。在計算機生物醫學應用領域，他利用MRI、SPAMM和CT掃描數據開發了新的人體內臟器官（如肺）的材料建模和形狀識別方法，這是用于心臟運動分析的開拓性框架，也是將人體解剖和生理模型、組織病理學、細胞追蹤、細胞類型分析與小鼠行為分析相聯系的開拓性架構。

在人工智能和計算機視覺領域，他在可變形模型、三維人體運動分析、行為、場景理解、機器學習、監督、目標識別、稀疏性以及野外生物識別等方面開發了新的方法。在計算機圖形學領域，他為流體動畫引入了Navier-Stokes方法，1998年的動畫電影《蟻哥正傳》（Antz）中的水景基于該法制作而成。

Dimitris Metaxas教授發表了500多篇論文，獲得過多項最佳論文獎，擁有7項專利。他是富布賴特獎學金、NSF研究啟動獎和職業生涯獎，以及ONR青年研究計劃獎的獲得者。他是美國醫學和生物工程院院士、IEEE會士和MICCAI會士，曾擔任IEEE CVPR 2014和ICCV 2011大會主席，ICCV 2007程序主席， FIMH 2011、MICCAI 2008及SCA 2007高級程序主席。

演講內容

醫療數據分析對于新的醫學發現、診斷改進和成本降低來說日益重要。本演講將介紹一種已持續開發25年的通用可擴展的計算框架，它將計算學習、稀疏方法、混合范數、詞典和稀疏性的原理與可變形建模方法結合在一起，應用于醫學圖像分析和計算機視覺領域中復雜的大規模問題中。

演講將介紹該系統的多種醫學應用，包括心臟病的分割、識別和表征的特征發現、心臟 MRI 圖像重建、心臟血流分析、大規模組織病理學圖像分析和檢索、體脂估計，以及用于酒精研究的嚙齒動物行為分析和細胞分析等。

以下為演講全文（為便于閱讀進行過適當編輯整理）：

大家好。剛才Pep講了非常多的內容，小編非常贊同。接下來小編會為大家列舉一些例子，小編也會說明我們確實需要謹慎小心地運用這些工具。

機器學習的重點是數據，但它們沒法超越它們的數據。人工智能在醫療領域的應用才剛剛開始。小編會給出一些案例說明我們當前的工作和難題。

首先小編先簡單介紹一下我們的計算生物醫學影像與建模中心（CBIM）。CBIM 成立于 2002 年，那時候計算機的運行非常慢，數據非常少，訓練神經網絡是非常困難的。現在 CBIM 有 133 位教職成員，65 位博士生。

計算生物醫學影像與建模是一項多學科的研究任務，不僅涉及計算技術，還涉及到生物學、醫學、神經科學、語言學等等。我們需要醫生和生物學家來幫我們查看和驗證數據，如果我們不做這件事，我們就永遠無法成功。我們與羅格斯大學的很多部門都有合作，而且因為羅格斯大學與紐約等地的距離很近，我們和周邊的一些醫院也有合作關系。

我們希望解決的問題的領域包括使用計算機視覺技術處理生物醫學數據、成像、識別以及人類行為和語言的多模態方面。

我們希望為醫學影像信息學開發穩健的和可擴展的方法，以用于臨床和臨床前的應用。

先說臨床的。人們已經在臨床方向開發了很多框架，涵蓋很多流程，從數據獲取到檢測和分割到診斷等等。這些技術的目的并不是取代醫生，而是幫助醫生更快更好地完成日常工作。當然這個過程可能會減少對醫生的需求，雖然醫生不喜歡這一點，但試點測試是必不可少的。

可以看到，首先是數據獲取。我們可以通過掃描儀了解病人病灶的情況，這些圖像需要進行分割。我們希望能在掃描的時候就分割，而不必之后再做。這方面我們有些自動化的選擇和機會。小編會展示神經網絡在這方面的優良表現——不管是實時處理還是之后處理。有了分割后的圖像后，你需要建模，識別圖像中的正常和異常。機器學習只是這個過程的一部分，你還需要向醫生解釋為什么這個地方是異常的。醫生需要知道模型是根據什么特征得出結論的，如果不對，我們還要對神經網絡進行修改。

在數據獲取方面，壓縮傳感核磁共振（Compressed Sensing MRI）是一種高效的數據采集方法，能有效降低掃描時間，極大提升病人的體驗。我們可以在里面做分割、注冊和重建等。

除了分割掃描數據，還有病理學圖像分割的研究。但問題是我們如何處理異常，畢竟每個人的異常都不一樣。也許神經網絡在一些具體病例上表現很好，但卻處理不了其他病例。這也是其中的難點。

1994年以來我一直在關注心血管診斷領域，我們能用 MRI 重建血流的運動。當然，我們還可以用 CT 重建心臟內部的情況，這比 MRI 更加清晰。

這里可以看到重建出的心臟運動情況。我們能通過這種方式查看心臟里血液留存的位置，預防心臟病發作。

接下來，我們要進行無網格的模型擬合。現在的醫生看的是一張張切片，對于 3D 結構他們只能猜測，不能看到。我們可以通過一張張切片重建出 3D 結構，標出其中承受的壓力。通過觀察心臟中的循環，我們能知道正常和異常的位置。這是非常全面的方法。過去醫生通常只看一張片，而心臟是立體的，而且在運動，一張切片的信息很不全面。我們的方法能讓醫生更好地了解這些信息。

另一項研究是在知識發現上。我們如何將這些圖像用來診斷疾病呢？比如分析這些組織病理學圖像，來診斷癌癥。這方面也有不同的維度。另外，我們也可以將這些信息用來培訓新的醫生。當然這樣的工作并不容易，但對這些方面都會有影響。

接下來我們談一個具體的應用。比如說肝臟的 CT。首先我要談談為什么這方面的圖像分割并不容易。圖像中一直都會存在偽影，因為醫生往往沒有時間去做非常仔細的成像。你不希望將這些偽影分割出來，不然可能會影響醫生的診斷。檢測肺病的時候，我們需要知道肺在那里。

我們知道左肺和右肺的大小是不一樣的，因為一邊的肺旁邊有心臟，所以會小一點。醫生當然知道這一點，但計算機不知道。我們需要填補這其中的差距。此外，大腦等結構擁有很多細節信息，也需要關注。

我們可以使用形狀先驗（shape prior）。我們的自動分割系統需要做到準確、有效和魯棒。我們不能讓醫生等待太長時間，還要能處理圖像中的偽影等錯誤信息，以及發現復雜的組織結構（比如大腦）中的細節。

很多時候，由于工作環境的影響，輸入的數據可能并不準確，我們需要處理這些問題。另外我們也要保留局部細節，這些細節可能就代表了疾病或創傷的存在，對治療而言非常重要。

當然，我們有大量數據來做機器學習。這些數據是稀疏的。我們的方法基于兩個觀察：輸入形狀可以近似由訓練形狀的稀疏線性組合表示；給定的形狀信息可能包含嚴重錯誤，但這種錯誤通常是稀疏的。我們的做法是首先最小化模型和數據之間的差異，這是我們要執行的變換。然后是稀疏線性組合。

我們也要考慮非高斯誤差，這對提升結果很重要。

為什么我們的方法是有效的？在魯棒性方面，使用 L0 范數約束明確建模“e”，因此可以檢測到顯然的（稀疏）誤差。在通用性方面，不對參數分布模型做任何假設，因此可以建模復雜的形狀信息。在無損性方面，使用了所有的訓練形狀，因此能夠覆蓋所有的細節信息，甚至包括訓練數據中統計不顯著的細節。

這是我們的實驗設置。

準確度能達到 90% 以上。

當然你也能進行在線學習，你可以選擇哪些數據是重要的。所以小編可以從少量數據開始，然后增加更多數據來提升質量。醫生在看過更多圖像后會表現得更好，這種方法也是類似。能讓模型持續提升的在線學習是很重要的。

再來看看心臟圖像的分割。這方面的進展很慢，但也有一些突破，比如我們剛完成的，能展示出很多復雜細節。

我們能用機器學習在 MRI 上做些什么？這是我們的工作流程。醫生需要的不只是一個答案，他們需要知道得出結論的原因，是哪些特征讓模型認為存在問題。

我們的方法可以非常準確地說明哪些區域與特定疾病的診斷有關。與心臟相關的疾病有 400 種左右，這些疾病都有一些模式，因此非常適合用機器學習來處理——如果有大量數據的話。所以我們和很多醫院和學校合作來獲得理解這一問題的數據。實際上，50% 罹患心臟血管疾病的風險都是可以早期預測的，通過測量，我們能發現一些連醫生也不知道的事情。所以我們也實際上推進到了下一步。

得到了切片后我們可以建模，得到 3D 模型，實現更好的可視化。這樣醫生就不容易錯過或忽略對一些疾病的診斷。

這里的紅色和黃色展示了血液和肌肉的比例。我們在研究這個比例與疾病的關聯。

還有標志跟蹤（tag tracking），這是一種了解血液如何影響對心室的壓力的常用手段。

這里是一些關于流速場的討論。患病瓣膜會有更小的孔洞，會導致更高的流速，產生的高壓力可能導致患病。

基于哈希的圖像檢索（Towards Large-Scale Histopathological Image Analysis: Hashing-Based Image Retrieval）是我們的又一項研究。

疾病的嚴重程度千差萬別，就像在這個病例里面，這是一種惡性腫瘤。

哈希可以檢測相似性信息，讓模型表現更好。

可以看到，我們不僅做得更好，而且更加穩定，不管特征維度有多大。算法的高效性是非常重要的。

這是檢索結果的展示。

在臨床前研究方面，我們也有一些進展。這是我們的一種細胞核的分割方法。這是我們和很多不同醫院共同開展的一項研究。那么我們怎么找到細胞核呢？因為細胞核很重要，與 DNA 相關。

我們可以根據形狀和大小等特征對細胞核進行分類，看是正常還是異常的。另外密度信息也很重要，腫瘤細胞和正常細胞有不同的密度。

我們可以把它應用到一些臨床前應用上，比如研究大量小鼠的行為。因為小鼠在藥物和疾病研究上很重要，小鼠的行為能為我們提供一些結果。我們可以劃分小鼠不同的部分，監控和統計多只小鼠的活動。

最后，我們的未來研究方向有哪些？首先是高效的信息融合。我們希望不只是檢測單模態數據，而能同時使用多個尺度上的多模態數據。另一個方向是從粗略到精細的學習（Coarse-to-fine Learning），不同規模的學習很重要。我們希望將領域專家的知識整合到機器學習中，以提升推理能力和可解釋性；我們還希望在使用過程中不斷修正神經網絡，我稱之為「learn how to learn」。

當然，我們也要研究使用可解釋的參數進行學習和推理的基本方法。非線性優化方法也是一個研究方向，神經網絡的參數太多了，我們如何在減少參數數量的同時又實現更好的表現？有時候需要基于耦合 PDE 和機器學習的方法。

小編的演講到此為止。我們現在還沒有到達頂峰，但是已經處在一個非常令人激動和興奮的時間節點，我們對機器學習為醫療領域帶來變革很有信心。