低照度圖像會使很多計算機視覺算法的魯棒性降低，嚴重影響機器人領(lǐng)域的許多視覺任務(wù)，如自動駕駛、圖像識別以及目標追蹤等。為獲取具有更多細節(jié)信息以及更大動態(tài)范圍的增強圖像，提出了一種基于多曝光圖像生成的低照度圖像增強方法。該方法通過分析真實拍攝的多曝光圖像，發(fā)現(xiàn)不同曝光時長的圖像的像素值之間存在線性關(guān)系，使得正交分解的思想可以應(yīng)用于多曝光圖像生成。多曝光圖像是根據(jù)物理成像機制生成的，與真實拍攝圖像更為相近。在將原圖分解得到光照不變量和光照分量后，通過設(shè)計自適應(yīng)算法生成不同的光照分量，再與光照不變量合成可以得到多曝光圖像。最后利用多曝光圖像融合方法獲取具有更大動態(tài)范圍的增強圖像。該融合結(jié)果與輸入圖像保持一致，最終的增強圖像可有效保留原始圖像的色彩，自然度高。在真實拍攝的低照度圖像公開數(shù)據(jù)集上進行了實驗并與現(xiàn)有先進算法進行對比，結(jié)果表明，本文方法得到的增強圖像與參考圖像之間的結(jié)構(gòu)相似性提高了2.1%，特征相似性提高了4.6%，增強圖像與參考圖像更接近且自然度更高。

在低光照條件下或相機曝光時間不足的情況下拍攝的圖像稱為低照度圖像。低照度圖像通常具有低亮度、低對比度以及結(jié)構(gòu)信息模糊的特點，這給很多機器人視覺任務(wù)帶來了困難，如低照度圖像的人臉識別、目標跟蹤[1]、自動駕駛[2]、特征提取[3]等任務(wù)。低照度圖像的增強方法不僅可以改善圖像的視覺效果，還可以提高后續(xù)機器人視覺任務(wù)算法的魯棒性，具有重要的實際應(yīng)用價值。

根據(jù)是否需要依賴大量的數(shù)據(jù)進行訓練，目前已有的低照度圖像增強算法可以分為傳統(tǒng)方法和基于深度學習的方法兩類。在傳統(tǒng)的低照度圖像增強方法中，基于直方圖的方法[4-5]通過調(diào)整圖像的直方圖來提高圖像的對比度，達到增強低照度圖像的目的，這類方法簡單高效，但缺乏物理機制，常常導(dǎo)致圖像的過增強或欠增強，并且圖像的噪聲也會被明顯地放大。基于Retinex理論[6]的方法先通過將圖像分解得到光照分量和反射分量，再分別進行增強。Wang等[7]設(shè)計了一個低通濾波器將圖像分解為反射圖像和光照圖像，并使用一個雙對數(shù)變換對圖像進行增強來平衡自然度和圖像細節(jié)。Guo等[8]先對低照度圖像的RGB三通道取最大值得到一個初始的光照圖像，再通過結(jié)構(gòu)先驗信息來修正初始光照，使用伽馬校正法調(diào)整圖像亮度，再將調(diào)整后的光照圖像與反射圖像合成得到最終的增強結(jié)果。Ren等[9]提出了一種抑制噪聲的序列評估模型來分別估計光照分量和反射分量，在這種噪聲抑制的序列分解過程中，對每個分量進行空間平滑并巧妙地利用權(quán)重矩陣來抑制噪聲和提高對比度，最后將估計得到的反射分量與伽馬校正后的光照分量合并得到增強圖像，最終達到低照度增強聯(lián)合去噪的目的。

基于深度學習的方法[10-13]通過對大量數(shù)據(jù)的訓練，在低照度圖像增強上取得了很好的效果。Lore等[10]最先提出了一個用于對比度增強和噪聲消除的深度自動編碼器來增強低照度圖像。Wei等[11]將Retinex模型和深度神經(jīng)網(wǎng)絡(luò)結(jié)合用于低照度圖像增強中。Jiang等[12]利用生成式對抗網(wǎng)絡(luò)實現(xiàn)了低照度圖像增強模型，該模型無需使用配對的訓練數(shù)據(jù)進行訓練。Guo等[13]將低照度圖像增強任務(wù)轉(zhuǎn)換為一項具有深度網(wǎng)絡(luò)的特定曲線估計任務(wù)。這些基于深度學習的方法的訓練過程通常需要耗費大量的時間和計算資源。并且這些方法的效果在很大程度上取決于訓練數(shù)據(jù)，不準確的參考圖像會影響訓練結(jié)果，比如在真實拍攝的正常光照圖像中，由于光照不均勻可能存在局部高光照區(qū)域過曝光或局部低光照區(qū)域欠曝光的問題。

在低照度圖像增強中，不均勻的光照也是一個需要解決的問題。對于局部低照度圖像來說，將圖像亮度提升過高會導(dǎo)致圖像的高光照區(qū)域過曝光，而亮度提升不足又無法將低光照區(qū)域的圖像細節(jié)信息展示出來。得益于拍照設(shè)備的進步，可以固定拍照設(shè)備并在短時間內(nèi)獲取不同曝光時長的圖像，并將拍攝所得的一組圖像融合得到具有更大動態(tài)范圍的圖像。Wang等[14]在YUV色彩空間中設(shè)計了一種基于邊緣信息保留的平滑多尺度曝光融合算法，可以同時保留場景中高光照區(qū)域和低光照區(qū)域中的細節(jié)，為了彌補融合過程中丟失的細節(jié)信息，設(shè)計了一個矢量場構(gòu)造算法從矢量字段中提取可見的圖像細節(jié)，且該方法可避免圖像融合過程中出現(xiàn)的顏色失真。圖像融合的方法雖然可以有效地提高圖像動態(tài)范圍，但需要預(yù)先獲取一組不同曝光時長的圖像，無法對單張低照度圖像增強。拍攝動態(tài)場景或拍攝時相機發(fā)生抖動都會使得所拍攝的圖像對準困難，進而導(dǎo)致融合結(jié)果中存在偽影。

為了將圖像融合的方法應(yīng)用到低照度圖像增強中達到提高圖像動態(tài)范圍的目的，需要先根據(jù)單張圖像生成一組用于融合的信息。目前已有一些方法將圖像融合的思想用于低照度圖像增強。其中，F(xiàn)u等[15]先通過一種基于形態(tài)學閉合的光照估計算法將圖像分解得到光照圖像和反射圖像，再分別使用Sigmoid函數(shù)和自適應(yīng)直方圖均衡化算法對照明圖像進行處理得到亮度提升后的光照圖像和對比度增強的光照圖像，將兩個增強后的光照圖像進行融合再與反射圖像合成得到最終的增強圖像。Cai等[16]采集了589組多曝光圖像，并用13種已有的方法對多曝光圖像進行融合，選取最優(yōu)結(jié)果作為參考圖像，設(shè)計了一個卷積神經(jīng)網(wǎng)絡(luò)在這個數(shù)據(jù)集上進行訓練，最終得到一個低照度圖像增強器。基于圖像融合的單張低照度圖像增強方法有效解決了圖像融合需要多張曝光圖像作為輸入圖像的問題，但Fu等[15]和Cai等[16]的方法仍然存在缺乏物理機制的問題。

針對目前方法存在的問題，本文提出了一個基于多曝光圖像生成的低照度圖像增強方法。首先從物理成像機制出發(fā)，分析了曝光圖像之間的關(guān)系，發(fā)現(xiàn)不同曝光時長的圖像之間存在與陰影和非陰影圖像之間相似形式的關(guān)系。基于此，首次提出將正交分解方法[17]用于多曝光圖像融合，即使用正交分解的方法將圖像分解得到光照分量與光照不變量，通過改變光照分量生成具有不同曝光時長的圖像。再利用圖像融合的方法將生成圖像融合得到具有高動態(tài)范圍的圖像。由于生成的圖像與真實拍攝的圖像比較接近，融合所得的增強圖像自然度也保持得很好。同時，由單張圖像生成的多曝光圖像是逐像素對應(yīng)的，融合結(jié)果不存在偽影，也解決了拍攝多曝光圖像時相機需要固定的問題。并且，本文方法無需依賴大量的數(shù)據(jù)進行訓練，具有很好的通用性。

2 多曝光圖像的生成與低照度圖像增強

本文方法主要包含3個部分：(1)圖像正交分解。將原圖分解得到一個光照分量和一個光照不變量。(2)多曝光圖像生成。通過改變光照分量的大小生成多曝光光照分量，并將其與原始光照不變量合成，得到多曝光圖像；(3)多曝光圖像融合。將多曝光圖像融合，得到最終增強后的圖像。圖 1所示為本文算法框架。

圖 1算法框架

2.1

多曝光圖像之間的線性關(guān)系

通過實驗發(fā)現(xiàn)，在光照和相機參數(shù)固定的情況下所拍攝的不同曝光度的圖像之間存在線性關(guān)系，如圖 2所示，圖 2(a)為一組不同曝光時長下拍攝的色板圖像，圖 2(b)分別展示了RGB三通道在不同曝光度下色板中24個顏色的真實像素值與擬合線，綠色圓圈代表了真實像素值，紅色實線代表擬合線，像素值均為伽馬校正前的RGB像素值，橫坐標代表前4張色板圖像的像素值，縱坐標代表第5張色板圖像的像素值。

圖 2實拍多曝光圖像的像素間的線性關(guān)系

圖 2中所示的線性關(guān)系可以表達為

(1)

其中E 和e 分別代表長曝光時間和短曝光時間的像素值，H 代表R、G、B三個通道，L代表伽馬校正前的情形，KH為不同曝光下的像素之間的比值。由于3個通道的KH的擬合值大小近似，故在本文中，設(shè)置KR=KG=KB。

2.2

圖像正交分解

對式(1)中的進行伽馬校正后可以得到：

(2)

這與同一物體在陰影區(qū)域和非陰影區(qū)域中的像素所展示出的RGB三通道之間的關(guān)系[18]有相似的表達形式。

與文[17]中相似，由式(1)可以得到：

(3)

其中

C可以由像素值計算得到。

對圖像中任一像素，像素值為，由式(3)可得：

(4)

本課題組首次在文[17]中提出正交分解方法，如式(5)所示：

(5)

其中u0為方程(4)的自由解，滿足Au0=0 ，∥u0∥=1 ，up是方程(4)滿足up⊥u0的唯一特解。圖像的任意一個像素所對應(yīng)的up與α 均可通過圖像的像素值計算得到。圖 3所示為陰影圖像中與多曝光圖像中正交分解的示意圖。通過線性代數(shù)可知自由解u0只與KH相關(guān)：在陰影圖像中，KH為只受光照條件影響的參數(shù)；在多曝光圖像中，KH為只受不同曝光時間下入射光影響的參數(shù)。而特解up垂直于自由解u0意味著特解up與自由解u0互相獨立正交，即特解up具有光照不變性質(zhì)。這意味著，對于一個給定的像素，無論該像素點在何種曝光時間下拍攝，在對該點的像素值進行正交分解后都可得到一個垂直于自由解且不受不同曝光時間下入射光影響的唯一特解up，而α 的大小則體現(xiàn)了光照的變化。整張圖像的up組成了光照不變量，整張圖像的α 組成了光照分量。

圖 3陰影圖像與多曝光圖像中的正交分解示意圖

2.3

自適應(yīng)生成多曝光圖像

在得到原圖的光照不變量與光照分量后，對光照分量進行增強或減弱即可得到具有不同曝光時長的光照分量：

(6)

其中Δα 為光照增量，通過控制Δα 的大小，即可得到不同曝光時長的光照分量。再通過式(7)即可生成不同曝光時長的圖像：

(7)

最后根據(jù)式(8)對u′ 變換得到相應(yīng)RGB空間內(nèi)的像素值，其中13×1表示3×1 維的全1矩陣。

(8)

圖 4所示為一組真實拍攝的多曝光圖像和通過控制Δα 的大小生成的多曝光圖像，生成圖像均為通過將實拍圖 1作為原始圖像生成所得。從圖中可以看出，生成圖像與實拍圖像之間的差異隨著生成圖像與原始圖像之間的亮度差的增大而增大。

圖 4一組實拍多曝光圖像與生成的多曝光圖像

為了自動地生成具有不同曝光時長的多曝光圖像，設(shè)計了自適應(yīng)生成多曝光圖像的算法，可以根據(jù)原圖的亮度自動選擇光照增量Δα 的大小，并生成N 張不同曝光時長的圖像。

將圖像中任一像素（像素值v=[vR,vG,vB]T的亮度定義如下：

(9)

整張圖像的亮度L如下：

(10)

其中p 代表整個圖像的像素總數(shù)。

記N張生成圖像所對應(yīng)的光照增量為Δαi，i= 1,2,?,N ，首先確定其中最小的光照增量Δα1和最大的光照增量ΔαN，之后在Δα1到ΔαN之間根據(jù)式(11)均勻生成N個光照增量：

(11)

當L<0.3 時，只生成光照分量增大的圖像，即令最小的光照增量Δα1=0 。根據(jù)式(12)求最大的光照增量ΔαN?：

(12)

其中，

(13)

其中，分別代表原像素在光照分量增加了ΔαN?之后的R、G、B三通道的像素值。

由于生成圖像與原圖之間的光照增量越大，所生成的圖像與真實的不同曝光圖像之間的誤差越大，故當ΔαN>1.2 時，令ΔαN=1.2 。

當L>0.3 時，既生成光照分量增大的圖像，也生成光照分量減小的圖像。ΔαN的獲取方式與當L<0.3 時的方式相同。根據(jù)式(14)求Δα1?：

(14)

其中，

(15)

其中分別代表原像素在光照分量增加了Δα1之后的R、G、B三通道的像素值。當Δα1

本文中設(shè)置N= 5，圖 5所示為一組自適應(yīng)生成的多曝光圖像。從圖中可以看出，生成圖 5在低光照區(qū)域的雕塑上得到了顯著增強，但在高光照區(qū)域（即窗外場景中）過曝光；而在生成圖 3中，高光照區(qū)域得到了合適的曝光，但低光照區(qū)域欠曝光。上述現(xiàn)象說明模擬自然拍攝生成的不同曝光圖像無法同時恰當?shù)卣故境龈吖庹諈^(qū)域和低光照區(qū)域的圖像信息。

圖 5一組自適應(yīng)生成的多曝光圖像

2.4

多曝光圖像融合

為了得到更大動態(tài)范圍的增強圖像，本文采用多尺度曝光融合方法[14]將多曝光圖像融合生成最終的增強圖像。與該方法利用拍攝所得的一組多曝光圖像進行融合不同，本文將單張圖像自適應(yīng)生成的N 張不同曝光圖像用于融合，實現(xiàn)了對單張低照度圖像的增強，并且可以有效避免拍攝動態(tài)場景或相機抖動所帶來的偽影問題。具體算法如下：

(1) 根據(jù)原圖通過2.3節(jié)中的方法生成N 張多曝光圖像Qk（k=1,2,?,N ），本文中設(shè)置 N= 5。

(2) 將Qk（k=1,2,?,N ），從RGB顏色空間轉(zhuǎn)換到Y(jié)UV顏色空間得到 Ik（k=1,2,?,N ）。

(3) 根據(jù)式(16)計算多曝光圖像的加權(quán)圖：

(16)

其中i,j 代表像素位置，C、S、E和B分別代表根據(jù)對比度、飽和度、曝光時長以及圖像亮度計算得到的權(quán)重，具體計算方法參考文[14]。為使得權(quán)重的和為1，對Wij,k歸一化得到。

(4) 對Ik和分別建立拉普拉斯金字塔和高斯金字塔得到，n 代表金字塔的層數(shù)，與文[14]相同，n=?log2min(h,w)??2 ，h 和w 分別代表圖像的行數(shù)和列數(shù)，??? 為向下取整符號。

(5) 對1到n?1 層金字塔根據(jù)式(17)進行融合：

(17)

(6) 對第n層金字塔根據(jù)式(18)進行融合：

(18)

代表高斯濾波器，用于平滑，當k= 1,2時，令β=1.5 ；當k=3,4,5 時，令β=0 。

(7) 由下式得到最終的低照度圖像增強結(jié)果：

(19)

3 實驗結(jié)果與分析

3.1

參數(shù)設(shè)置

為了確定生成多曝光圖像張數(shù)N與算法性能之間的關(guān)系，在LOL數(shù)據(jù)集[11]的500張圖像上對本文算法進行測試，并采用3個評價指標對N取不同值時的增強結(jié)果進行評價，如圖 6所示。

圖 6參數(shù)N的選擇與LOL數(shù)據(jù)集上的評價結(jié)果

峰值信噪比（PSNR）、結(jié)構(gòu)相似性（SSIM）和特征相似性（FSIM）[19]這3個全參考的評價指標，均為值越大說明增強效果越好。從圖 6中可以看出，指標PSNR先是隨著N的增大而提高，在 N= 4時達到最大，之后隨著N的增大而降低，這是因為當 N太小時輸入信息不足，而當N太大時融合結(jié)果中的噪聲會被放大，指標PSNR反而會降低；指標SSIM隨著 N的增大而提高，這是因為當輸入圖像增多，提供的信息也隨之增多，融合所得結(jié)果的結(jié)構(gòu)也越清晰；指標FSIM在N= 2時較低，在N> 2時N的取值對指標FSIM影響不大。綜合考慮這3個指標，本文中將N設(shè)置為5。

3.2

公開數(shù)據(jù)集上的對比實驗

本節(jié)分別從主觀恢復(fù)效果和客觀評價指標2個方面，對本文方法與5個代表性的低照度增強方法在2個公開數(shù)據(jù)集的測試集上進行對比。其中，NPE方法[7]、LIME方法[8]、JED方法[9]為傳統(tǒng)方法，RetinexNet方法[11]和ZeroDCE++方法[13]為基于深度學習的方法。LOL數(shù)據(jù)集[11]的測試集包含15組圖像，其中低照度圖像和參考圖像均為相機拍攝所得。MIT數(shù)據(jù)集[20]的測試集包含500組圖像，其中低照度圖像為相機拍攝所得，參考圖像為由5位攝影師（A/B/C/D/E）利用軟件手動調(diào)整所得，本文采用攝影師C的調(diào)整結(jié)果作為參考圖像，并將圖像轉(zhuǎn)為400×400像素大小的PNG格式圖像用于測試。圖 7展示了LOL測試集[11]上的低照度圖像增強結(jié)果，圖 8和圖 9分別展示了MIT測試集[20]上的室外和室內(nèi)低照度圖像增強結(jié)果。從圖 7可以看出，本文方法的增強結(jié)果與參考圖像最為接近，說明本文方法的增強結(jié)果最接近真實拍攝圖像。NPE方法[7]成功提升了圖像的亮度，且增強了圖像的飽和度，使得圖像色彩更鮮明，但是在一些情況下會存在顏色失真的問題，如在圖 9(a)的恢復(fù)結(jié)果中臉部皮膚泛紅，在圖 9(b)的恢復(fù)結(jié)果中黑色衣服發(fā)白。

LIME方法[8]同樣成功提升了圖像的亮度，且圖像的對比度得到了增強，但存在局部高光照區(qū)域過增強的問題，如在圖 9(e)的恢復(fù)結(jié)果中，臉部由于過增強得到了過曝光的增強結(jié)果。JED方法[9]的增強結(jié)果中圖像亮度略低于其他方法，且去噪算法導(dǎo)致恢復(fù)圖像存在過平滑現(xiàn)象而缺失細節(jié)紋理信息。RetinexNet方法[11]的增強結(jié)果很好地突出了圖像的結(jié)構(gòu)信息，但是增強圖像與真實拍攝圖像的風格差異較大，存在不自然的問題。ZeroDCE++方法[13]同樣存在增強結(jié)果的風格變化問題，如圖 8(b)和圖 9中所示，ZeroDCE++方法[13]的增強結(jié)果發(fā)白。與以上方法相比，本文方法的增強結(jié)果對原始色彩的保持更好，與真實拍攝圖像的顏色更接近，且能夠成功地將高光照區(qū)域和低光照區(qū)域的圖像信息同時展現(xiàn)在增強結(jié)果中，沒有對高光照區(qū)域過增強導(dǎo)致過曝光。

圖 7LOL測試數(shù)據(jù)集[11]上低照度圖像的增強結(jié)果

圖 8MIT測試數(shù)據(jù)集[20]上室外低照度圖像的增強結(jié)果

圖 9MIT測試數(shù)據(jù)集[20]上室內(nèi)低照度圖像的增強結(jié)果

為了定量評價本文方法的增強效果，采用全參考的評價指標PSNR、SSIM和FSIM[19]對各個方法的增強結(jié)果進行評價。其中PSNR越大，說明增強結(jié)果與參考圖像在像素值上越接近；SSIM越大，說明增強結(jié)果與參考圖像在結(jié)構(gòu)上越接近；FSIM越大，說明增強結(jié)果與參考圖像在特征上越接近。

表 1給出了LOL測試集[11]上不同方法的定量評價結(jié)果，表 2給出了MIT測試集[20]上不同方法的定量評價結(jié)果。其中最優(yōu)的指標值以紅色表示，次優(yōu)的指標值以藍色表示。從表 1可以看出，本文方法在LOL測試集[11]上3個評價指標均最優(yōu)，即本文方法得到了與真實拍攝圖像最為接近的增強結(jié)果。從表 2可以看出，本文方法在MIT測試集[20]上SSIM和FSIM均取得最優(yōu)結(jié)果，PSNR取得了次優(yōu)的結(jié)果，說明本文方法的增強結(jié)果與手工調(diào)整的參考圖像在結(jié)構(gòu)和特征上最為接近。

表 1LOL測試集[11]上的定量評價結(jié)果

表 2MIT測試集[20]上的定量評價結(jié)果

3.3

多曝光融合實驗分析

本節(jié)首先對本文所生成的多曝光圖像與固定相機拍攝的多曝光圖像在融合增強性能方面進行了對比，效果如圖 10所示。其中圖 10(a)(b)為固定相機后拍攝的具有不同曝光時長的圖像，圖 10(c)為本文方法將圖 10(a)作為輸入圖像得到的增強結(jié)果，圖 10(d)為將圖 10(a)(b)作為輸入圖像融合得到的結(jié)果。從圖中可以看出，本文方法增強結(jié)果圖 10(c)的對比度好于實拍多曝光圖像的融合結(jié)果圖 10(d)，并且從紅框放大區(qū)域可以看出，本文方法結(jié)果的清晰度要更高。從圖 10(d)的黃框中可以看到，由于拍攝到動態(tài)場景（騎摩托車的人）而在融合中產(chǎn)生了偽影，但此問題在本文方法的結(jié)果中則不存在。

圖 10本文方法與實拍多曝光圖像融合結(jié)果對比

其次，對本文生成的多曝光圖像融合結(jié)果與單一增加曝光結(jié)果進行了圖像增強效果對比，如圖 11所示。在僅僅增加曝光量的實驗結(jié)果中，原圖像中光照低的部分（如建筑）得到了明顯的增強，但原圖像中光照高的部分（如天空和燈）則由于過曝光而丟失了原有圖像的信息，在多曝光融合的結(jié)果中，則成功將低光照和高光照部分的信息同時保留，說明本文方法可以在有效提高圖像亮度的同時得到具有更大動態(tài)范圍的增強結(jié)果。

圖 11多曝光融合結(jié)果與增加曝光結(jié)果對比

4 結(jié)論

提出了一個基于多曝光圖像生成的低照度圖像增強方法。該方法基于物理機制，根據(jù)單張低照度圖像生成多曝光圖像，實現(xiàn)了單張圖像的低照度增強，其效果優(yōu)于一些現(xiàn)有的單張低照度圖像增強方法以及多張曝光圖像融合的方法。本文提出的根據(jù)單張低照度圖像進行增強的方式，可有效避免偽影的產(chǎn)生，與使用多張曝光圖像進行融合的方式相比具有更好的通用性。

審核編輯：劉清