基于霧氣分布的大氣光幕估計去霧算法

在霧天場景下，由于大氣中存在的懸浮粒子對成像過程有一定的干擾作用，使得成像設備捕獲到的圖像存在視覺效果差、對比度降低、細節(jié)丟失等問題，導致一些計算機視覺系統(tǒng)難以正常工作，例如自動車輛導航、戶外監(jiān)控、遙感以及目標識別等。因此，對霧天等惡劣天氣下圖像的處理工作對后續(xù)的計算機視覺任務具有重要的意義。

目前現(xiàn)有的圖像去霧算法中，主要分為基于傳統(tǒng)方法的去霧算法和基于深度學習的去霧算法。在傳統(tǒng)去霧算法中，主要分為圖像增強類和圖像復原類。圖像增強類的算法有直方圖均衡算法、Retinex算法等，此類算法雖然能夠在一定程度上提高圖像對比度、改善圖像的視覺效果，但沒有考慮圖像退化的本質(zhì)原因，容易造成圖像信息丟失，并沒有做到真正的去霧。復原類圖像去霧算法通過研究霧天圖像退化的物理機制，建立霧天圖像退化模型，反演退化過程，補償退化過程中造成的損失以獲得無霧圖像的最優(yōu)估計值，從而改善霧天圖像質(zhì)量。相較而言，圖像復原類算法具有內(nèi)在的優(yōu)越性，已成為去霧領(lǐng)域的研究熱點。近年來，基于先驗知識或假設的單幅圖像去霧技術(shù)得到了重大突破。He等人［1］通過對室外無霧圖像的大量觀察，提出暗通道先驗（Dark Channel Prior， DCP）算法，對一般霧天場景均具有較好的處理效果，但在含有天空或高亮白色物體時由于對透射率估計不準確，導致算法失效。Wang等人［2］提出有霧圖像與無霧圖像最小通道間存在線性關(guān)系的假設，構(gòu)建線性模型來估計透射率，該算法運行速度較快，但存在復原結(jié)果整體較暗的問題。Yang等人［3］為避免最小濾波的弊端，提出一種用邊緣保持函數(shù)代替最小濾波擬合暗通道的去霧算法，同時對透射率進行基于對數(shù)冪律變換的優(yōu)化，進而得到了較為準確的透射率，但該算法對于一些景深躍變大的圖像會產(chǎn)生一定的失真現(xiàn)象。雖然復原類算法各有局限性，但從復原成本與質(zhì)量效果方面分析，此類算法仍具有較大的研究意義［4］。

近年來，基于數(shù)據(jù)驅(qū)動的去霧算法也取得了快速發(fā)展。Li等人［5］基于卷積神經(jīng)網(wǎng)絡提出一種圖像去霧模型AOD-Net（All-in-One Dehazing Net），通過線性變換將大氣光與透射率整合為一個變量，并將其代入大氣散射模型得到無霧圖像，但參數(shù)估計會使誤差相互放大，影響去霧效果。Chen等人［6］提出一種端到端的門控上下文聚合網(wǎng)絡（Gated Context Aggregation Network， GCANet ）來恢復退化圖像，該網(wǎng)絡采用平滑擴張卷積消除網(wǎng)格偽影，引入門控子網(wǎng)絡來融合多層次特征。該模型得到的效果較好，網(wǎng)絡訓練時間較短。Qin等人［7］提出了一種端到端的特征融合注意力機制網(wǎng)絡，該網(wǎng)絡融合通道與像素注意力機制，構(gòu)建特征注意模塊，使得主網(wǎng)絡注重更有效的圖像信息?；谏疃葘W習的去霧算法往往需要利用現(xiàn)有數(shù)據(jù)集訓練大量參數(shù)，對設備和數(shù)據(jù)集的要求較高，并且此類算法對于真實退化圖像的去霧效果較差，目前在去霧領(lǐng)域存在一定的局限性［8］。

綜上所述，本文提出一種基于霧氣分布的大氣光幕估計去霧算法。首先將Fade方法得到的霧氣分布圖像進行閾值分割與細化處理得到較為精確的霧氣分布，通過分析景深、霧濃度、大氣光幕之間的關(guān)系，建立大氣光幕估計模型。其次，通過亮度權(quán)重圖與自適應大氣光閾值選取大氣光區(qū)域，獲取較為準確的大氣光，進而恢復退化場景。算法不涉及透射率計算，避免了透射率估計不足帶來的失真問題。

2 相關(guān)理論

在圖像去霧領(lǐng)域，常用的霧天場景成像模型為大氣散射模型［9］：

I(x)=J(x)t(x)+A(1?t(x))

 ， （1）

式中：x表示像素位置索引；I(x)代表退化場景：J(x)表示復原場景；t(x)表示介質(zhì)透射率；A表示大氣光，一般將其選取在無窮遠處；J(x)t(x)為直接衰減成分，描述場景輻射在大氣介質(zhì)中的衰減；A(1?t(x))是大氣光幕，描述了粒子對大氣光的散射作用，其表達式為：

V(x)=A(1?t(x))

 ， （2）

由式（1）可得，大氣光幕V(x)小于退化場景I(x)，并且為正值。即：

{V(x)≤W(x)V(x)>0

 ， （3）

其中：W(x)=minc∈{r,g,b}(Ic(x))為退化場景最小通道值，c表示RGB顏色通道。在均勻介質(zhì)中，透射率與場景深度的關(guān)系為：

t(x)=e?βd(x)

 ， （4）

式中：β為大氣散射系數(shù)，d(x)為場景深度，將式（4）代入式（2）可得：

V(x)=A(1?e?βd(x))

 . （5）

Zhu等人［10］通過分析得到，景深可反映霧濃度信息，并且與霧濃度存在正相關(guān)關(guān)系。通過對大量退化場景的觀察發(fā)現(xiàn)，景深越大的區(qū)域往往霧濃度較大，圖像亮度較高，紋理信息幾乎不可見。故Zhu等人以亮度與飽和度之間的差異近似表示霧濃度，建立線性模型估計景深?；诖髿馍⑸淠Ｐ?，可直接估計透射率和大氣光達到去霧目的[11-13]，也可從估計大氣光幕與大氣光的角度進行圖像復原[14]。但由于此模型自身的缺陷，所得復原結(jié)果偏暗，故提出一系列改進大氣散射模型的去霧算法[15-16]。

3 本文算法

根據(jù)顏色衰減先驗（Color Attenuation Prior，CAP）以及大氣成像物理模型分析，霧氣分布與景深存在正相關(guān)關(guān)系，并且根據(jù)推導可發(fā)現(xiàn)景深與大氣光幕存在指數(shù)正相關(guān)關(guān)系。綜合上述特性以及相關(guān)理論，本文對霧氣分布與大氣光幕進行建模，直接用霧氣分布信息估計大氣光幕，減小了算法復雜度。并提出一種亮度權(quán)重結(jié)合自適應閾值的大氣光求取方法，進而得到復原場景。算法流程框圖如圖1所示。

圖1  算法流程框圖

Fig.1  Algorithm flow block diagram

下載: 原圖 | 高精圖 | 低精圖

3.1　霧氣分布

在霧天場景退化過程中，場景反射光受懸浮顆粒影響不同，會使退化圖像產(chǎn)生不同程度的霧氣。而對于不同的霧濃度，圖像飽和度、亮度、紋理等特征也不盡相同。Choi等人利用在自然有霧和無霧圖像上觀察到的統(tǒng)計規(guī)律的可測量偏差，結(jié)合圖像銳度、對比度能量、信息熵等12個特征設計了一個可估計圖像霧濃度的霧感知密度評估器［17］：

Dmap1=FADE(I(x))

 ， （6）

式中：I(x)為輸入有霧圖像，Dmap1為輸入圖像1/8尺寸的霧濃度評估圖。由于初始霧氣分布圖Dmap1的尺寸不利于后續(xù)操作，因此對Dmap1進行放大處理，將其放大為與輸入圖像相同的尺寸，結(jié)果如圖2（b）所示?？梢钥闯觯珼map1在整體上反應出了霧氣的分布特點，濃霧區(qū)域具有較大的值，薄霧區(qū)域具有較小的值。但Dmap還是較為粗糙并伴有噪聲，因此，本文將對其進行后續(xù)細化處理。

圖2  霧濃度分布圖

Fig.2  Distribution of haze concentration

下載: 原圖 | 高精圖 | 低精圖

由于霧氣的存在，人類可以通過其感知到景深，因此在去霧過程中，往往會保留部分遠處的霧氣以獲得更自然的視覺效果。本文選擇閾值θ對Dmap1進行分割處理。將Dmap1中大于θ的值置為θ，意味著這些區(qū)域霧濃度較高；小于θ的值不變，認為此區(qū)域的霧氣隨景深變化。具體映射操作如下：

Dmap2={Dmap1,θ,Dmap1<θDmap1≥θ

 . （7）

參考Androutsos等人［18］對自然界圖像亮度分量在HSV顏色空間中75%的劃分，本文將θ取0.75時效果最好。從圖2（c）可以看出，霧氣分布圖中還包含較多紋理信息，對其聯(lián)合雙邊濾波操作進行細化，如圖2（d）所示。對霧氣分布處理的實驗結(jié)果如圖3所示，圖3（a）為有霧圖像，圖3（b）為未對Dmap1進行處理的復原結(jié)果，圖3（c）為處理后的實驗結(jié)果?？梢钥闯?，未對Dmap1處理的復原結(jié)果存在很大缺陷，尤其在天空區(qū)域出現(xiàn)嚴重的失真現(xiàn)象。而對Dmap1處理之后的復原結(jié)果展示出較好的去霧效果與色彩保真度。

圖3  霧氣分布處理的實驗結(jié)果對比。（a）霧霾圖像；（b）初始霧氣分布復原結(jié)果；（c）處理后霧氣分布復原結(jié)果。

Fig.3  Comparison of experimental results of haze distribution treatment.（a） Haze imagets；（b） Recovery results of initial hazed istribution；（c） Rrecovery results of initial haze distribution aftert reatment.

下載: 原圖 | 高精圖 | 低精圖

3.2　大氣光幕與霧濃度的關(guān)系

式（5）中景深與大氣光幕的指數(shù)相關(guān)關(guān)系如圖4（a）所示?？梢钥闯?，當A與β確定時，大氣光幕與景深存在非線性的正相關(guān)關(guān)系，并且這種關(guān)系在中景區(qū)域變化較為劇烈。考慮到景深在一定程度上可以反映霧濃度信息，即對于霧天圖像，場景深度越大，霧濃度分布越高，反之亦然［19-20］。故利用霧濃度分布信息直接估計大氣光幕，以減小累計誤差與算法復雜度。同樣地，霧濃度與景深類似具有與大氣光幕呈正相關(guān)的關(guān)系曲線，具體關(guān)系為：

圖4  景深、霧濃度與大氣光幕關(guān)系曲線。

Fig.4  Relationship curve of the depth of field， haze concentration and atmospheric light veil.

下載: 原圖 | 高精圖 | 低精圖

V(x)=αβDmap(x)????????√

 ， （8）

式中：α直接控制著去霧程度，當α較大時，得到的復原結(jié)果往往對比度高、較為飽和，較小的α得到的結(jié)果則存在去霧不徹底問題，因此，一個合適的α對復原結(jié)果至關(guān)重要。根據(jù)實驗，本文將α取為0.75，具體實驗結(jié)果如圖5所示。

圖5  參數(shù)α選取效果圖

Fig.5  Effect of parameter α selection

下載: 原圖 | 高精圖 | 低精圖

參數(shù)β控制估計曲線的增長速率，直接影響大氣光幕的大小，如圖6所示。大氣光幕在一定程度上可反應霧濃度。通常情況下，遠景區(qū)域的霧濃度大，大氣光幕應具有較大的值；在中近景區(qū)域，霧氣分布較少，大氣光幕也較小。因此，參數(shù)β應能夠根據(jù)景深變化調(diào)節(jié)大氣光幕大小?？紤]采用最小值通道構(gòu)建調(diào)節(jié)函數(shù)。

圖6  參數(shù)β對大氣光幕影響曲線

Fig.6  Influence curve of parameter β on the atmospheric veil

下載: 原圖 | 高精圖 | 低精圖

通常情況下，在景深較大的區(qū)域，霧氣分布濃密，圖像亮度較高，因此該區(qū)域最小通道值也較大，這導致估計的光幕過大，使復原圖像出現(xiàn)過飽和問題。因此，為了能夠調(diào)節(jié)β的值，獲得較為準確的大氣光幕，選取對數(shù)函數(shù)對最小值通道進行處理，將標準對數(shù)函數(shù)左移1恰好能夠映射所有歸一化像素，不存在溢出情況，具體定義為：

β(x)=log(Imin(x)+1)+0.1[0,1]

 ， （9）

其中：Imin(x)為退化場景最小顏色通道。

大氣光幕的估計有效避免了透射率估計不準確問題。隨機選取兩張室外退化圖像進行大氣光幕估計復原，并與Tarel方法［21］進行效果對比，復原效果如圖7所示。可以看出，Tarel所得大氣光幕整體偏亮，對大氣光幕估計過高，故得到的結(jié)果存在過飽和現(xiàn)象，并且在兩幅圖中都存在較為嚴重的偽影問題。本文估計大氣光幕得到的結(jié)果很好地描述了霧氣分布情況，并且去霧程度適中，較為自然。

圖7  大氣光幕估計復原圖

Fig.7  Recovery results by atmospheric light veil

下載: 原圖 | 高精圖 | 低精圖

3.3　大氣光估計

在退化場景復原過程中，大氣光直接影響著復原結(jié)果，它反映了場景的亮度信息。Kim等［22］提出一種結(jié)合四叉樹分解的大氣光值估計方法，通過分層策略不斷分割選取標準差最小區(qū)域進而獲得最終大氣光值。但此方法會受大片白色物體影響而錯選大氣光位置，使復原結(jié)果發(fā)生嚴重偏色。根據(jù)大氣散射模型與景深公式可以推導出大氣光一般取在景深無窮遠的平滑區(qū)域。一般情況下，景深無窮遠處的霧氣分布較為密集，亮度較高，因此，為獲得較為準確的大氣光，定義亮度權(quán)重圖如式（11）所示：

Lweight(x)=L(x)Lmax?Lmin

 ， （10）

其中：L(x)為提取HSV顏色空間的亮度分量，Lmax為亮度分量的最大值，Lmin為亮度分量的最小值?？梢钥闯?，亮度權(quán)重圖能夠反映像素點相對于有霧圖像的亮度水平。在此基礎(chǔ)上，用閾值T進行大氣光區(qū)域的選取。相對于清晰圖像，霧氣的存在影響了圖像亮度，為獲取準確的閾值，考慮在獲取閾值時引入亮度偏差，閾值T具體表達如式（11）所示：

T=Lmean+δLm

 ， （11）

式中，Lmean為亮度分量的均值，Lm為亮度分量中大于Lmean的像素均值。δ為亮度分量的標準差。δLm即為亮度偏差，選擇一個具有較高亮度水平的Lm與亮度分量標準差δ的乘積來衡量此參數(shù)，可以自動識別不同退化場景的亮度偏差。至此，在獲取亮度權(quán)值與大氣光閾值后，用閾值T對亮度權(quán)重的像素進行篩選，大于閾值的像素被篩選為大氣光區(qū)域，并將這些像素映射到原有霧圖像的像素均值作為最終的大氣光。

3.4　退化場景復原

根據(jù)公式（1）、（2）可推導出利用大氣光幕與大氣光復原退化場景的公式：

J(x)=AI(x)?V(x)A?V(x)

 . （12）

根據(jù)大氣光幕恢復退化場景，可以避免透射率估計不準確帶來的誤差，獲得更好的去霧效果。

4 實驗結(jié)果與分析

為充分驗證本算法的有效性，本文將進行主觀評價與客觀評價對實驗結(jié)果進行分析。本文選擇2個傳統(tǒng)算法與3個深度學習算法進行評價對比。傳統(tǒng)算法選擇He等人［1］的DCP算法和Yang等人［3］的PDCP算法，深度學習算法選擇Li等人［5］的AOD-Net算法、Qin等人［7］的FFA-Net算法和Chen等人［6］的GCANet算法。

4.1　主觀評價

主觀評價可以直觀地從視覺效果方面展示出各算法的差異性。本文主要通過真實退化場景復原效果與合成退化場景復原效果進行對比，真實退化場景選取含天空及白色物體類霧霾圖像與景深突變類霧霾圖像進行效果對比，合成退化場景選取公開測試集RESIDE里的部分圖像。

從圖8~圖10可以看出，6種算法對于真實退化場景的處理效果存在一定程度的差異。對于真實退化場景（圖8、圖9），He算法去霧徹底，但整體處理效果偏暗，這是因為大氣散射模型的固有缺陷，并且在景深突變處出現(xiàn)光暈偽影問題。Yang算法在中近景區(qū)域去霧徹底，但遠景還留有部分霧氣。Li算法的整體去霧不徹底，并且在天空區(qū)域存在偏色問題。Chen算法對于景深變化緩慢的圖像去霧效果較好，但在其他圖像中存在去霧不徹底問題，并且在天空區(qū)域出現(xiàn)較為嚴重的偏色現(xiàn)象。Qin算法的整體霧氣殘留較多，在天空處出現(xiàn)了嚴重的偏色問題。本文算法去霧程度適中，顏色鮮艷，紋理信息豐富。對于合成退化場景（圖10），He算法的整體去霧效果較好，但對于天空區(qū)域的處理仍存在一定的缺陷。Yang算法對于合成圖像處理效果較好，復原圖像飽和度適中，視覺效果較好。Li算法的復原結(jié)果霧氣殘留較多。Chen算法的復原結(jié)果在天空區(qū)域存在嚴重偏色問題。Qin算法的復原結(jié)果在天空處出現(xiàn)偏色現(xiàn)象，并且有霧氣殘留。本文算法得到的復原結(jié)果去霧徹底，顏色自然，細節(jié)信息豐富。

圖8  含天空及白色物體的場景復原結(jié)果對比

Fig.8  Comparison of recovery results of scenes with sky region and white objects

下載: 原圖 | 高精圖 | 低精圖

圖9  景深變化劇烈場景的復原結(jié)果對比

Fig.9  Comparison of recovery results of real degradation scenes with depth of field change sharp

下載: 原圖 | 高精圖 | 低精圖

圖10  合成退化場景的復原結(jié)果對比

Fig.10  Comparison of recovery results of synthetic degradation scenes

下載: 原圖 | 高精圖 | 低精圖

4.2　客觀評價

主觀評價能從視覺效果上對比各算法的差異性，但仍然較為片面。為了進一步說明本算法的有效性，以客觀指標評價作為輔助評價。對于真實退化場景，本文選取新增可見邊率（e）、平均梯度（r）、信息熵（s）、運行時間（t）4個指標進行對比。4個指標中，運行時間越小越好，其他指標越大越好。對于合成退化場景，選擇結(jié)構(gòu)相似度（Structural Similarity， SSIM）與峰值信噪比（Peak Signal Noise Ratio， PSNR）2個有參考指標進行對比，2個指標都是越大越好。隨機選取RESIDE數(shù)據(jù)集中的4張圖片求取指標平均的方式進行各算法對比。

無參考評價指標對比如表1和表2所示?？梢钥闯?，本文算法具有較高的新增可見邊率和信息熵評價，表明本文算法恢復結(jié)果細節(jié)信息豐富、顏色鮮艷。Yang算法獲得了較好的平均梯度和運行時間評價，說明Yang算法在算法速度上有較大的優(yōu)勢，但本文運行時間與平均梯度超越了4種對比算法，表明本算法具有較高的有效性與可行性。Chen算法在Image3中，新增可見邊率出現(xiàn)了負值，這說明該算法恢復細節(jié)信息能力存在一定不足。有參考指標評價對比如表3所示，本文算法在PSNR與SSIM上超越了4個對比算法，獲得了較高的指標值。Qin算法雖然具有最高的PSNR與SSIM，但結(jié)合主觀效果對比發(fā)現(xiàn)，其復原結(jié)果霧氣殘留過多，視覺效果較差。這是由于在其網(wǎng)絡訓練時，存在過擬合問題，基于深度學習的去霧算法往往難以避免此問題[23-24]，這也說明單一的指標對比并不能充分說明算法的優(yōu)劣［25］。綜合主、客觀評價對比發(fā)現(xiàn)，本文算法在退化場景的復原處理中具有較高的可行性和有效性。

表1  客觀評價指標e和r

Tab.1  Objective evaluation on index e and r

He Yang Li Chen Qin Ours

e r e r e r e r e r e r

Image1 0.471 1.344 0.513 1.632 0.197 1.479 0.287 1.210 0.287 1.210 0.412 1.667

Image2 0.357 1.339 0.532 1.438 0.061 1.235 0.437 1.334 0.268 1.218 0.535 1.205

Image3 0.070 1.197 0.064 1.208 0.028 1.223 -0.009 0.989 -0.004 0.958 0.207 1.353

Image4 0.260 1.612 0.252 1.681 0.152 1.475 0.188 1.585 0.132 1.240 0.236 1.465

Image5 0.214 1.266 0.063 1.195 0.074 1.014 0.068 1.092 0.041 1.070 0.130 1.231

Average 0.274 1.352 0.285 1.431 0.102 1.285 0.194 1.242 0.145 1.139 0.304 1.384

下載: 導出CSV

表2  客觀評價指標s和t

Tab.2  Objective evaluation on index s and t

He Yang Li Chen Qin Ours

s t/s s t/s s t/s s t/s s t/s s t/s

Image1 13.710 0.966 14.800 0.568 14.210 1.649 13.927 8.876 13.963 65.742 15.926 0.946

Image2 15.633 1.089 16.412 0.687 14.147 1.533 15.856 7.534 14.550 29.009 15.988 1.315

Image3 16.524 0.957 14.323 0.579 15.462 0.362 16.584 1.651 16.701 15.955 16.159 1.204

Image4 15.558 1.097 15.695 0.691 15.009 0.661 16.068 7.845 15.728 73.315 15.939 1.197

Image5 16.825 2.465 16.775 1.849 14.336 6.491 17.139 3.592 17.204 217.137 16.186 1.853

Average 15.650 1.315 15.601 0.875 14.633 2.139 15.915 5.899 15.629 80.232 16.040 1.303

下載: 導出CSV

表3  數(shù)據(jù)集測評指標

Tab.3  Indicators of dataset

He Yang Li Chen Qin Ours

PNSR 14.673 18.641 18.761 18.993 24.900 20.851

SSIM 0.856 0.896 0.922 0.934 0.956 0.936

下載: 導出CSV

5 結(jié) 論

霧霾天氣下捕獲的降質(zhì)圖像對計算機視覺任務造成了較大的影響，對這些降質(zhì)圖像的復原算法研究一直是計算機視覺領(lǐng)域的熱點。為能夠快速、高效地復原退化場景，本文提出了一種霧氣分布下的大氣光幕估計算法。首先，將Fade方法提取到的初始霧氣分布圖進行閾值分割與細化處理得到較為準確的霧氣分布信息。其次，通過分析景深、霧濃度、大氣光幕之間的關(guān)系，建立大氣光幕估計模型。最后，通過亮度權(quán)重圖與自適應大氣光閾值選取大氣光區(qū)域，獲取較為準確的大氣光，進而恢復退化場景。實驗結(jié)果表明，本文算法恢復圖像清晰自然，去霧效果徹底，并且能夠保留圖像中的細節(jié)信息。