Q為什么采用傳感器偏振?

A:視覺(jué)系統(tǒng)一直都在試圖克服玻璃、塑料和金屬等反光表面產(chǎn)生的動(dòng)態(tài)或多余光線、反射、朦朧和眩光影響。Teledyne FLIR的Blackfly S 機(jī)器視覺(jué)工業(yè)相機(jī)具有 Sony 的傳感器偏振和 Spinnaker SDK 內(nèi)置的防眩光功能，提供便于實(shí)施、輕量化且可靠的解決方案，以應(yīng)對(duì)這種充滿(mǎn)挑戰(zhàn)的情況。

配備偏振傳感器的 Blackfly S工業(yè)相機(jī)，通過(guò)同時(shí)傳感整個(gè)傳感器的所有偏振光的角度和強(qiáng)度，增加了速度，減小了體積、復(fù)雜度和耗電量。同時(shí)對(duì)曝光、增益、白平衡和顏色校正進(jìn)行精確動(dòng)態(tài)控制，以傳感器偏振方式在單幀圖像中從四個(gè)角度捕獲光線，可顯著降低系統(tǒng)復(fù)雜度和應(yīng)用設(shè)計(jì)。

采用Sony偏振傳感器的Blackfly S的優(yōu)勢(shì)01Sony的偏振傳感器

Sony IMX253MZR 和 IMX50MZR 傳感器基于廣受歡迎的1200 萬(wàn)和500萬(wàn)像素 IMX253 和 IMX250 Pregius 全局快門(mén)CMOS傳感器研發(fā)而成。每個(gè)像素都有自己的偏振濾光器 - 這些濾光器的朝向角度為 0°、45°、90° 和 135°，并以重復(fù)的雙像素塊排列。

這些傳感器能夠?qū)⒂捎谔砑酉袼仄駷V光器而降低的量子效率 (QE) 的影響降到最低。例如，IMX250MXR的偏振濾光器的消光比為 4:1，足夠提供準(zhǔn)確的測(cè)定偏振的數(shù)據(jù)，無(wú)需阻擋正交偏振光。這保證了即使最小量的光通過(guò)對(duì)齊的濾光器，也有足夠的光到達(dá)感光二極管，以捕獲有用的圖像。這樣即使在具有挑戰(zhàn)性、需要增益補(bǔ)償降低的 QE 的條件下，也可以捕獲低噪聲的影像。

02具有防眩光和消除反射功能的Spinnaker SDK

Spinnaker SDK支持API調(diào)用，以通過(guò)從每個(gè)偏振象限中選擇最暗像素，從源影像中創(chuàng)建眩光減少的圖像。它可以利用偏振測(cè)量，動(dòng)態(tài)地減少來(lái)自非金屬表面的反射，從而降低系統(tǒng)復(fù)雜度并節(jié)省應(yīng)用的開(kāi)發(fā)時(shí)間。請(qǐng)看以下示例：

L-原始偏振圖像| M-偏振圖像，偵測(cè)物體以紅色突出顯示| R-處理后的圖像，啟用了防眩光功能

03更高的幀率（采用無(wú)損壓縮）

配備Sony偏振CMOS圖像傳感器的Blackfly S GigE攝像頭可通過(guò)利用攝像頭固件中內(nèi)置的無(wú)損壓縮功能，在高分辨率下實(shí)現(xiàn)更高的幀速率（例如，在 1200 萬(wàn)像素下高達(dá)14FPS），同時(shí)不損失任何圖像數(shù)據(jù)。這種更高的處理速度和高分辨率對(duì)于要求苛刻的工業(yè)和研究導(dǎo)向型應(yīng)用特別有用。

04偏振數(shù)據(jù)的解讀

光偏振參數(shù)的解讀和定性需要測(cè)量所有四個(gè)偏振角的數(shù)據(jù)。為了使傳感器上的每一個(gè)像素都做到這一點(diǎn)，需要組合相鄰像素?cái)?shù)據(jù)進(jìn)行插值處理。這與彩色傳感器上組合相鄰的紅色、綠色和藍(lán)色像素的數(shù)據(jù)得到每個(gè)像素的 RGB 值的方式類(lèi)似。此過(guò)程由 Spinnaker SDK支持。

05偏振和彩色的結(jié)合

IMX250MYR傳感器在偏振濾光器下為傳感器增加了一個(gè)色彩濾光陣列。該傳感器使用一種獨(dú)特的Quad-Bayer樣式，使偏振域的空間分辨率優(yōu)于色彩信息的空間分辨率。

RGB 像素排列為 2x2“超像素”。每個(gè)超像素在每個(gè)方向都有一個(gè)偏振濾光器，并包含在該位置計(jì)算斯托克斯參數(shù)所需的所有信息。

突出顯示 2x2“超像素”的 Spinnaker SDK GUI 截圖

06全局快門(mén)功能

由于焦平面失真，卷簾快門(mén)CMOS圖像傳感器無(wú)法準(zhǔn)確識(shí)別快速移動(dòng)的物體。配備 Sony全新傳感器偏振型傳感器的Blackfly S攝像頭解決此問(wèn)題的方法是在每個(gè)像素內(nèi)提供模擬內(nèi)存，從而提供全局快門(mén)功能，以便實(shí)現(xiàn)較高的圖像質(zhì)量而不發(fā)生焦平面失真的情況。

偏振工業(yè)相機(jī)的應(yīng)用

下圖所示在室外照明條件下的擋風(fēng)玻璃反射；有偏振和無(wú)偏振。

智能交通（ITS）

鑒于戶(hù)外照明條件全天都在變化，對(duì)于 ITS 應(yīng)用（如透過(guò)反光的擋風(fēng)玻璃對(duì)安全帶或移動(dòng)設(shè)備違規(guī)行為拍照）而言，采用偏振濾光器設(shè)置很有挑戰(zhàn)性。有些系統(tǒng)通過(guò)多攝像頭/濾光器設(shè)置克服了這一難題，但這樣做既提高了硬件和維護(hù)成本，同時(shí)又嚴(yán)重影響了系統(tǒng)的可靠性。

通過(guò)相機(jī)偏振可以每幀同時(shí)捕獲四組圖像；確保其中至少有一幅圖像可以有效消除不必要的反射。應(yīng)用程序開(kāi)發(fā)人員可以在后處理過(guò)程中靈活地選擇一幅或多幅偏振圖像，從而節(jié)省開(kāi)發(fā)、集成和維護(hù)的時(shí)間和成本。

探測(cè)和識(shí)別

使用傳統(tǒng)的可見(jiàn)或熱成像方法很難探測(cè)到目標(biāo)，而偏振測(cè)定法就能解決了這個(gè)問(wèn)題。偽裝的車(chē)輛或微觀細(xì)胞結(jié)構(gòu)持續(xù)反射平行于表面的偏振光；這些反射在AoLP模式（線性偏振角）下可以清楚地顯現(xiàn)，如上圖所示，偽裝良好的車(chē)輛在使用傳感器偏振技術(shù)之前和之后的觀察效果。

無(wú)人機(jī)系統(tǒng)（UAS）

UAS 或無(wú)人機(jī)等通常在室外不受控制的照明條件下運(yùn)行。Blackfly S 提供四組偏振圖像，偏振角分別為 90°、45°、135° 和 0°，以根據(jù)照明條件的變化，以及UAS 的相對(duì)運(yùn)動(dòng)和方向做出補(bǔ)償。Blackfly S通過(guò)向應(yīng)用工程師提供每幀4組偏振圖像，減少了系統(tǒng)的復(fù)雜度、有效載荷重量和故障點(diǎn)，同時(shí)改善了在挑戰(zhàn)性照明條件下的圖像質(zhì)量和決策時(shí)間。

優(yōu)化對(duì)AUV和USV的深度學(xué)習(xí)（DL）

通過(guò)去除有害的眩光和反射來(lái)清理影像，可以簡(jiǎn)化深度學(xué)習(xí)系統(tǒng)的培訓(xùn)。特別是在自動(dòng)駕駛汽車(chē)和海洋無(wú)人艦船（Unmanned Surface Vehicle，即USV）遇到的各種高反光環(huán)境中，其將發(fā)揮極大的作用。

Blackfly S 工業(yè)相機(jī)的高分辨率和低讀取噪聲可實(shí)現(xiàn)用標(biāo)準(zhǔn)顯微鏡設(shè)備分析寬廣的視野（例如，利用生物化合物的偏振特性和光學(xué)活性可以區(qū)分健康和患病的組織）。半導(dǎo)體和電子產(chǎn)品制造、平板顯示器 (FPD) 制造和檢驗(yàn)、食品包裝、化妝品、藥品包裝、物流、顯微鏡和檢驗(yàn)等其他多種應(yīng)用都需要處理表面反光區(qū)域，這些情況下攝像頭偏振特別有用。