多倫多大學的計算成像研究人員用他們獨特的相機捕捉到了奇怪的信號。多倫多計算機成像小組在實驗室中使用單光子雪崩二極管 (SPAD) 相機檢測到無法解釋的 80 千赫 (kHz) 閃爍。

他們利用強大的自由運行成像傳感器，探測到來自不同光源的每個光子，并記錄其精確的到達時間，精確到萬億分之一秒。在獲取到每個像素的所有數(shù)據(jù)后，研究團隊應用了一種算法，可以在從幾秒到皮秒的極短時間內(nèi)創(chuàng)建重建任意特定時刻光的視頻。

多倫多大學計算機科學教授 Kyros Kutulakos 說：“你可以按照你想要的時間尺度放大并播放視頻：每秒 30 幀、一千幀、一百萬幀、十億幀。您不必提前知道您想要觀察某個現(xiàn)象的時間尺度。”

在此之前，研究人員可以捕捉到幾納秒內(nèi)穿過場景的光，但無法同時對極快和極慢的事件進行成像。

Kutulakos 的同事、助理教授David Lindell 解釋說，現(xiàn)有技術(shù)專門針對特定的時間范圍。傳統(tǒng)高速攝像機的速度可達到每秒約 100 萬幀——足以捕捉到飛馳的子彈——但要達到每秒數(shù)十億或數(shù)萬億幀的速度則需要非常專業(yè)的攝像機，而這些攝像機無法捕捉持續(xù)時間超過一微秒左右的事件。

通過自由運行的成像傳感器，可以檢測來自不同光源的每個光子并記錄精確的到達時間。（視頻所有權(quán)：多倫多大學）

多倫多大學團隊使用 MATLAB 獲取單個光子的時間戳數(shù)據(jù)并控制其成像技術(shù)裝置中的移動組件，該團隊將其稱為“時間顯微鏡”。

單像素 SPAD 有一個 60 毫米乘 60 毫米的檢測頭，中間有一個微型傳感器。當 SPAD 檢測到奇怪的 80 kHz 信號時，研究人員起初懷疑他們是否只是遇到了一些偽影。經(jīng)過仔細檢查，研究小組發(fā)現(xiàn)了問題的根源。

“事實證明，我們實驗室用 T8 LED替代了熒光燈泡。它們實際上以 80 千赫的頻率閃爍，”Kutulakos說。“我們甚至不知道發(fā)生了這樣的事。”

在最近于巴黎舉行的國際計算機視覺會議 (ICCV) 上，該團隊關(guān)于被動超寬帶單光子成像的論文獲得了一項享有盛譽的獎項，該獎項在全球計算機視覺專家提交的數(shù)千篇論文中僅有兩篇獲得。

該技術(shù)的潛在應用包括新型 3D 成像和激光雷達系統(tǒng)以及科學成像——例如，捕捉多個時間尺度上的生物事件或?qū)εc快速射電爆發(fā)同時發(fā)生的短脈沖光進行天文觀測。

▼

每秒數(shù)十億幀

人類將光視為一種連續(xù)的體驗：我們可以想象使用快速相機來拍攝慢動作鏡頭。如果我們有越來越高速的攝像機，也許我們可以簡單地不斷地減慢播放速度。

“但到了某個時候，就會出現(xiàn)轉(zhuǎn)變，”Lindell說。“光不是連續(xù)的；它是離散的。我們捕捉光的方式是每次捕捉一個光子。”

單光子雪崩二極管在過去十年內(nèi)才開始廣泛應用。Kutulakos 指出，該設備成本高昂，意味著很少有計算機科學和計算機視覺實驗室能夠使用它們。最近的傳感器發(fā)展促使多倫多大學的研究小組對其他領(lǐng)域的科學家?guī)资陙硪恢痹谔接懙膯栴}提出新的問題。

例如，專門研究伽馬射線天文學的天文學家部署了探測器來拾取單個粒子并對其進行時間戳。但這些天文學家對變星的周期性照明更感興趣，而不是描述恒星亮度的精確時間變函數(shù)，因為這是物理學所要求的，Kutulakos 解釋道。

在多倫多計算成像組實驗室，博士后 Sotiris Nousias 和博士生 Mian Wei 首次使用 SPAD 捕獲發(fā)光二極管光子的時序信息。

“我們讓 LED 閃爍，并觀察輸出流，”Nousias 說道。“我們觀察到，水流實際上具有與閃爍相同的模式，然后努力尋找數(shù)學聯(lián)系。這就是我們開展該項目的靈感。”

Nousias 和 Wei 是 ICCV 論文的共同第一作者，他們想知道如果他們能夠接觸到所有光子，他們可以獲得什么信息。科學家傾向于以特殊的同步方式操作 SPAD。相反，該團隊以異步模式操作傳感器。從此，研究人員試圖將離散光子到達與描述光強度隨時間變化的底層連續(xù)函數(shù)聯(lián)系起來。

Kutulakos 說：“我們正在被動收集光子并嘗試重建環(huán)境中所有光源的貢獻，無論強度變化是快還是慢。”

在一項實驗中，研究團隊同時捕捉到不同的光線，然后以不同的速度播放它們。SPAD 觀察到白色表面上的一個點。來自 3 兆赫頻閃脈沖激光器、40 兆赫頻閃脈沖激光器和光柵掃描激光投影儀的光線穿過擴散器并撞擊白點。頭頂上方閃爍著智能燈泡。

他們從相機中提取了時間信息流，指示光子何時撞擊傳感器并提取強度信息。該團隊使用MATLAB 來引導光束并獲取圖像，以確保像素及時對齊，并實現(xiàn)整個數(shù)據(jù)采集端的自動化。

“我們已經(jīng)研究單光子傳感器很多年了，我們擁有的 MATLAB 采集管道仍然有效，”Lindell 說。“它完全可靠。”

具體來說，他們依靠 Image Processing Toolbox、Computer Vision Toolbox、Signal ProcessingToolbox、Data Acquisition Toolbox 和 Parallel Computing Toolbox 來完成該項目。Nousias 補充說，他們還制作了自定義圖形界面來控制一些實驗中的掃描鏡。

事實證明，現(xiàn)代 SPAD 能夠進行的計算成像遠遠超出了研究人員之前的想象。

Kutulakos 說：“我們從未想過能夠看到激光脈沖在環(huán)境中異步閃爍。”

捕捉白色表面上單點上的多個光源的實驗裝置。（視頻所有權(quán)：多倫多大學）

▼穿越時空

研究團隊的重建使他們能夠?qū)⒆⒁饬性趶募す馔队皟x閃爍到近九個數(shù)量級的一秒采樣率，以及來自 3 兆赫激光的納秒級單個脈沖上。他們的方法還使他們能夠重現(xiàn)視線之外的激光電視投影儀播放的視頻。在這種情況下，它是僅通過光柵掃描信號重現(xiàn)的經(jīng)典黑白米高梅咆哮獅子。

另一個裝置以白色背景為背景，展示了一個淡粉色手持電池供電的風扇。為了演示被動超寬帶攝像技術(shù)，他們用激光脈沖照射旋轉(zhuǎn)的風扇。與模糊風扇的主動成像技術(shù)不同，他們的技術(shù)可以清晰地凍結(jié)風扇葉片在與頻閃燈不同的時間尺度上的運動。當紅色波前掃過看似凍結(jié)的風扇葉片時，這一場景在千兆赫尺度附近仍然清晰可見。

“可以把它想象成一臺速度非常快的攝像機，”Nousias 說道。“使用移動相機，你可以拍攝快照。但在我們的例子中，我們拍攝快照的快照。我們正在飛速穿越時間。”

當團隊八年前開始為該項目使用成像設備時，他們就已經(jīng)熟悉 MATLAB 了。“所有工具都非常容易集成，并讓我們能夠快速訪問數(shù)據(jù)，”Nousias 說。“如果出現(xiàn)問題，我們必須重新獲取數(shù)據(jù)，這樣就很容易實現(xiàn)可視化，從而節(jié)省我們的時間。”

Wei 還對 MATLAB 的支持表示感謝。“當你獲得新設備時，如果你沒有必要的支持來進行接口，那么你就必須利用不同的 GUI 來獲取你想要的數(shù)據(jù)，”他說。“MATLAB為我們提供了一種方便的方式來控制所有組件來進行數(shù)據(jù)采集。”

Lindell 也很同意。“我們使用的設備非常多樣化。我們利用現(xiàn)有的庫構(gòu)建了一個單一的編程接口，”他說。“如果我們沒有 MATLAB，我們就不得不費盡心思使用人們用其他編程語言構(gòu)建的不同第三方庫或擴展。”

被動式超寬帶攝像技術(shù)可以定格風扇葉片在與頻閃燈不同的時間尺度上的運動。當紅色波前掃過看似凍結(jié)的風扇葉片時，葉片在千兆赫尺度附近仍然可見。（視頻所有權(quán)：多倫多大學）

Wei 估計，如果沒有技術(shù)計算軟件，集成每個新組件可能需要幾天到幾周的時間。他說：“再次檢查各個部件是否按預期運行會耗費更多時間。”

“因為我們的設置，我們可以說，‘好吧，我有這個新的 Windows 機器。我會采用之前運行的代碼，然后將其移植過來，”Wei 繼續(xù)道。“現(xiàn)在其他人也可以使用他們的代碼并運行該系統(tǒng)。”

▼動態(tài)成像的可能性

獲得國際計算機視覺會議最佳論文獎代表了多倫多計算成像組研究人員的一項重大職業(yè)成就。Lindell說，會議組織者從提交的 8,068 篇論文中僅選出了兩篇。

他說：“在深度學習占據(jù)主導地位的時代，這是一個很好的提醒，我們?nèi)匀恍枰M行研究來幫助我們理解基本的物理現(xiàn)象以及如何使用新興技術(shù)感知這些現(xiàn)象。”

研究人員希望他們的突破能夠激發(fā)新的進步。一個值得探索的領(lǐng)域是閃光激光雷達，該技術(shù)利用漫射脈沖激光而不是掃描脈沖激光產(chǎn)生高分辨率深度圖像。通常，這涉及將光發(fā)送到場景中，測量光返回所需的時間，并使用該時間信息來測量距離。

“需要注意的是，你需要將光源與系統(tǒng)同步才能使該機制發(fā)揮作用，”魏解釋道。“鑒于我們具有異步測量信號的能力，我們有興趣了解是否可以使用異步光源來制作閃光激光雷達。”

在生物學中，蛋白質(zhì)折疊或結(jié)合等事件可以在從納秒到毫秒的時間尺度上發(fā)生。Lindell 說，研究小組一直在與大學的生物學專家討論他們的成像技術(shù)。

他說：“這些事件在這些時間尺度上發(fā)生的事實讓我們很感興趣，而且以人們迄今為止無法做到的方式觀察它們的潛力也很誘人。”

計算重聚焦可能有應用于其他科學領(lǐng)域。自從 20 年前射電望遠鏡首次探測到這一現(xiàn)象以來，天體物理學家一直想了解快速射電暴的成因是什么。這些神秘的能量爆炸發(fā)生在天空中，僅持續(xù)幾毫秒，但每次都極其強大。計算重聚焦可以使人們在光學領(lǐng)域探測到快速射電暴。

Nousias 說：“我們不知道這些事情什么時候會發(fā)生。”你需要監(jiān)測天空，然后在納秒時間尺度上返回數(shù)據(jù)進行觀察。現(xiàn)在我們有了實現(xiàn)這一目標的工具。”

Kutulakos 預計，他們的SPAD 方法可以幫助檢測標準檢查遺漏的工程機械零部件中的問題或缺陷。當發(fā)動機出現(xiàn)故障時，振動可能表明存在問題，但如果沒有更多信息，則可能難以找到確切的來源。他說道，通過將攝像頭對準發(fā)動機并收集所有數(shù)據(jù)，你就可以在大海里撈到針。

該團隊還與其他微電子研究人員合作，擴展相機的功能。單像素相機使團隊能夠從重復運動（例如旋轉(zhuǎn)的風扇葉片）中制作視頻，但真正動態(tài)的事件需要二維傳感器。

下一步，該團隊計劃致力于改進他們的技術(shù)。Lindell 指出，重建信號仍然相當耗時，而且計算效率低下。因此，他們正在致力于實時捕捉所有時間尺度上的事件。

“我認為，當我們將這臺相機對準實驗室周圍甚至室外時，會產(chǎn)生意想不到的結(jié)果，”Lindell 說。“我很高興看到我們的發(fā)現(xiàn)。這將會是一種捕捉世界的新方式。”