IMX490：高對(duì)比度場(chǎng)景的單次曝光 HDR 和閃爍緩解介紹

雖然傳感器通過(guò)增加更多傳感器功能和更高的低光靈敏度不斷改進(jìn)，但應(yīng)用工程師仍然面臨著增加價(jià)值的壓力，因?yàn)樗麄兣ν黄葡鄼C(jī)和傳感器所能提供的極限。這通常會(huì)導(dǎo)致工程師添加在主機(jī) PC 上進(jìn)行的成像后處理。一種流行的后處理功能為高對(duì)比度場(chǎng)景（例如戶外汽車應(yīng)用中的場(chǎng)景）實(shí)現(xiàn)了高動(dòng)態(tài)范圍 (HDR) 處理管道。隨著索尼 IMX490 CMOS 傳感器的發(fā)布，索尼已將 HDR 處理轉(zhuǎn)移到傳感器上

作者：wolfq121218

雖然傳感器通過(guò)增加更多傳感器功能和更高的低光靈敏度不斷改進(jìn)，但應(yīng)用工程師仍然面臨著增加價(jià)值的壓力，因?yàn)樗麄兣ν黄葡鄼C(jī)和傳感器所能提供的極限。這通常會(huì)導(dǎo)致工程師添加在主機(jī) PC 上進(jìn)行的成像后處理。一種流行的后處理功能為高對(duì)比度場(chǎng)景（例如戶外汽車應(yīng)用中的場(chǎng)景）實(shí)現(xiàn)了高動(dòng)態(tài)范圍 (HDR) 處理管道。隨著索尼 IMX490 CMOS 傳感器的發(fā)布，索尼已將 HDR 處理轉(zhuǎn)移到傳感器上，使視覺工程師有機(jī)會(huì)簡(jiǎn)化他們的 HDR 應(yīng)用程序，同時(shí)還可以利用 LUCID 的相機(jī)內(nèi)置 24 位圖像處理管道。

高動(dòng)態(tài)范圍：傳統(tǒng)方式

HDR 成像通常需要處理多張圖像，每張圖像具有不同的曝光時(shí)間設(shè)置，然后將其組合成一張圖像。不同的曝光設(shè)置允許在高光和陰影中收集更多可用的圖像數(shù)據(jù)。例如，較長(zhǎng)的曝光時(shí)間將在陰影中捕獲更多數(shù)據(jù)，但代價(jià)是高光過(guò)曝。較短的曝光時(shí)間則相反，在高光中捕獲更多可用數(shù)據(jù)，而曝光時(shí)間太短則無(wú)法在陰影中捕獲任何可用數(shù)據(jù)。最終處理后的圖像將從每次曝光中獲取最佳數(shù)據(jù)并將其組合成 HDR 圖像。

附注

傳統(tǒng)的 HDR 成像可以使用相機(jī)的序列器功能完成。序列器允許對(duì)相機(jī)進(jìn)行編程，使其連續(xù)拍攝一系列圖像。每幅圖像可以具有不同的設(shè)置，包括不同的分辨率、增益、曝光度等。然后可以在主機(jī) PC 上處理這些圖像。

傳統(tǒng) HDR：不適合運(yùn)動(dòng)

雖然傳統(tǒng) HDR 成像非常適合幾乎沒有運(yùn)動(dòng)的靜態(tài)場(chǎng)景，但汽車應(yīng)用等高速場(chǎng)景可能會(huì)產(chǎn)生運(yùn)動(dòng)偽影。當(dāng)場(chǎng)景中的物體在不同曝光之間改變位置時(shí)，就會(huì)產(chǎn)生運(yùn)動(dòng)偽影。發(fā)生這種情況的原因是每次曝光都是在不同的時(shí)間進(jìn)行的，一次接一次，曝光之間的這種延遲會(huì)導(dǎo)致 HDR 后期處理產(chǎn)生的最終圖像中的物體看起來(lái)變形或扭曲在一起。

最終 HDR 結(jié)果、運(yùn)動(dòng)偽影：

生成的 HDR 圖像存在嚴(yán)重的運(yùn)動(dòng)偽影。這在汽車和建筑物的扭曲中表現(xiàn)得很明顯。

IMX490：同時(shí)曝光

與傳統(tǒng)的 HDR 處理不同，索尼的 IMX490 CMOS 傳感器在曝光之間沒有任何延遲。事實(shí)上，所有曝光都設(shè)置為相同的長(zhǎng)度并同時(shí)進(jìn)行。這要?dú)w功于傳感器的子像素技術(shù)（也稱為分割像素技術(shù)），其中傳感器包含大像素和小像素，每個(gè)像素大小具有不同的光敏度。此外，每個(gè)子像素都以高低轉(zhuǎn)換增益讀出，為每個(gè)像素提供四個(gè) 12 位通道。然后在傳感器上處理這四個(gè)通道并將其組合成單個(gè)線性 24 位 HDR 值。（注意：雖然可以更改大像素和小像素之間每個(gè)像素的曝光長(zhǎng)度，但建議保持不變）。

IMX490：消除閃爍

IMX490 上的子像素同時(shí)曝光的另一個(gè)好處是可以減輕 LED 閃爍。許多傳統(tǒng)的 HDR 相機(jī)必須使用非常短的曝光時(shí)間來(lái)測(cè)量明亮場(chǎng)景中的低靈敏度數(shù)據(jù)，以避免光電二極管過(guò)度飽和。不幸的是，這些短曝光時(shí)間可能短到足以捕捉到 LED 閃爍 - LED 電源中的快速電壓變化導(dǎo)致 LED 快速交替開啟和關(guān)閉，從而導(dǎo)致視頻顯示 LED 閃爍。但由于子像素技術(shù)，IMX490 不需要使用這些非常短的曝光時(shí)間。對(duì)明亮區(qū)域更敏感的特定子像素可以設(shè)置為與其他像素相同的較長(zhǎng)曝光時(shí)間，從而使傳感器能夠平均化閃爍。

工作原理：像素結(jié)構(gòu)

傳感器的設(shè)計(jì)包括提高整體靈敏度并降低圖像噪聲的技術(shù)。IMX490 是背照式 （BSI） 傳感器，其布線層位于光電二極管下方。這樣可以讓更多光線到達(dá)光電二極管而不會(huì)受到電路布線的阻礙，從而提高靈敏度。每個(gè)子像素還具有不同大小的微透鏡，以更好地將光線聚焦到各自的光電二極管中。實(shí)施了遮光罩以及深溝槽，以幫助將每個(gè)像素與兩個(gè)子像素之間的光學(xué)串?dāng)_和電荷泄漏隔離開來(lái)。這種設(shè)計(jì)可實(shí)現(xiàn)高量子效率、超過(guò) 120dB 的動(dòng)態(tài)范圍，組合子像素飽和容量為 120000 e-。

交互式圖表 – 請(qǐng)將鼠標(biāo)懸停在圖表中的點(diǎn)上以顯示 QE %

TRI054S-CC（彩色，索尼 IMX490 CMOS）

EMVA 1288 是機(jī)器視覺傳感器和相機(jī)規(guī)格測(cè)量和表示的標(biāo)準(zhǔn)。

如前所述，IMX490 使用每個(gè)像素位置的兩個(gè)子像素來(lái)實(shí)現(xiàn)高動(dòng)態(tài)范圍，這兩個(gè)子像素的靈敏度和飽和度各不相同。每個(gè)子像素都以高低轉(zhuǎn)換增益讀出，為每個(gè)像素提供四個(gè) 12 位通道。這四個(gè)通道組合成單個(gè)線性 24 位 HDR 值。EMVA1288 標(biāo)準(zhǔn)不直接適用于 24 位組合數(shù)據(jù)，但適用于各個(gè)通道。結(jié)果是在各個(gè)通道上測(cè)量的，并在適當(dāng)?shù)臅r(shí)候進(jìn)行縮放，以反映通道如何組合成 24 位 HDR 圖像。

像素電位橫截面和驅(qū)動(dòng)序列

IMX490 的獨(dú)特設(shè)計(jì)融合了子像素 1 （SP1） 和子像素 2 （SP2） 的多個(gè)浮動(dòng)擴(kuò)散。當(dāng)曝光同時(shí)發(fā)生時(shí)，來(lái)自 SP1 和 SP2 的信號(hào)將串行輸出。下面的動(dòng)畫顯示了像素電位的各個(gè)階段以及像素驅(qū)動(dòng)序列。

階段：

8） SP1 和 SP2 中的所有電荷都被重置。1**） **曝光：兩個(gè)子像素（SP1 和 SP2）同時(shí)曝光。

SP1 讀出： 2） 對(duì)SP1 低增益和高增益復(fù)位電平進(jìn)行采樣。3 ） 對(duì) SP1 高轉(zhuǎn)換增益信號(hào)進(jìn)行采樣。4**）** 對(duì) SP1 低轉(zhuǎn)換增益信號(hào)進(jìn)行采樣。** 由于對(duì) SP1 復(fù)位電平和信號(hào)電平進(jìn)行采樣，因此該子像素可以執(zhí)行相關(guān)雙采樣 （CDS） 以降低噪聲。*

SP2 讀出： 5） SP2 的高轉(zhuǎn)換增益被采樣。6 ） SP2 的低轉(zhuǎn)換增益被采樣。7**）** SP2 的復(fù)位電平被采樣。** 由于復(fù)位采樣是在 SP2 的信號(hào)之后進(jìn)行的，因此 SP2 無(wú)法執(zhí)行 CDS。相反，SP2 使用增量復(fù)位采樣來(lái)抑制噪聲。8***）** SP1 和 SP2 中的所有電荷都被復(fù)位。

下一步：在 ArenaView 中使用 LUCID 的 TRI054S IMX490

對(duì)于那些尋找如何在 LUCID 的 ArenaView 中使用 TRI054S-CC 的說(shuō)明的人，

本知識(shí)庫(kù)文章介紹了 TRI054S-CC 上可用的各種功能和選項(xiàng)，包括 HDR 調(diào)諧、圖像增強(qiáng)、數(shù)字鉗位等。此外，本文還包括有關(guān)更改位深度顯示、調(diào)整 LUT 和切換色調(diào)映射伽瑪?shù)恼f(shuō)明。

結(jié)論

將 Sony 的 IMX490 與 LUCID 的 Triton IP67 相機(jī)配對(duì)，可提供 120 dB 高動(dòng)態(tài)范圍成像，非常適合包含場(chǎng)景中非常暗和非常亮區(qū)域的具有挑戰(zhàn)性的應(yīng)用。IMX490 通過(guò)其具有雙通道輸出的子像素技術(shù)實(shí)現(xiàn)這一點(diǎn)，提供 4 次同時(shí)曝光，從而產(chǎn)生清晰、無(wú)失真且無(wú)運(yùn)動(dòng)偽影的圖像。此外，由于同時(shí)曝光，與需要較短曝光時(shí)間的傳統(tǒng) HDR 相機(jī)相比，該相機(jī)能夠通過(guò)允許更長(zhǎng)的曝光時(shí)間來(lái)減少 LED 閃爍。LUCID 的 Triton 相機(jī)具有 24 位 ISP，允許用戶訪問(wèn)和微調(diào) IMX490 傳感器提供的所有功能。由于相機(jī)的 IP67 Factory Tough? 設(shè)計(jì)，Triton 5.4MP 相機(jī)非常適合戶外應(yīng)用，例如高級(jí)駕駛輔助系統(tǒng) （ADAS） 或自動(dòng)駕駛，以及工業(yè)應(yīng)用，例如實(shí)時(shí)焊接檢查。
*附件:IMX490-ABLG-W_technical_datasheet_E_Rev.0.1.0.pdf

審核編輯 黃宇