許夙暉：結合對抗網路與輔助任務的遙感影像無監督域適應方法

《測繪學報》

構建與學術的橋樑 拉近與權威的距離

結合對抗網路與輔助任務的遙感影像無監督域適應方法

許夙暉1, 慕曉冬1, 張雄美1, 柴棟2

1. 火箭軍工程大學信息工程系, 陝西 西安 710025;

2. 北京航空工程技術研究中心, 北京 100076

收稿日期：2017-06-05；修回日期：2017-10-24

摘要：使用機器學習進行遙感影像標註的一個重要前提是有足夠的訓練樣本，而樣本的標註是非常耗時的。本文採用了域適應的方法來解決遙感影像場景分類中小樣本量的無監督學習問題，提出了結合對抗網路與輔助任務的遙感影像域適應方法。首先建立了基於深度卷積神經網路的遙感影像分類框架；其次，為了學習到域不變特徵，在標籤分類器的基礎上增加域分類器，並使域損失函數在其反射傳播時的梯度與標籤損失的梯度相反，從而保證域分類器不能區分樣本來自於哪個域；最後引入了輔助分類任務，擴充了樣本的同時使網路更具泛化能力。試驗結果表明，本文方法優於主流的無監督域適應方法，在小樣本遙感影像無監督分類中得到了較好的效果。

關鍵詞：遙感影像場景分類域適應深度卷積神經網路對抗網路多任務學習

Unsupervised Remote Sensing Domain Adaptation Method with Adversarial Network and Auxiliary Task

XU Suhui1, MU Xiaodong1, ZHANG Xiongmei1, CHAI Dong2

Abstract: An important prerequisite when annotating the remote sensing images by machine learning is that there are enough training samples for training, but labeling the samples is very time-consuming. In this paper, we solve the problem of unsupervised learning with small sample size in remote sensing image scene classification by domain adaptation method. A new domain adaptation framework is proposed which combines adversarial network and auxiliary task. Firstly, a novel remote sensing scene classification framework is established based on deep convolution neural networks. Secondly, a domain classifier is added to the network, in order to learn the domain-invariant features. The gradient direction of the domain loss is opposite to the label loss during the back propagation, which makes the domain predictor failed to distinguish the sample"s domain. Lastly, we introduce an auxiliary task for the network, which augments the training samples and improves the generalization ability of the network. The experiments demonstrate better results in unsupervised classification with small sample sizes of remote sensing images compared to the baseline unsupervised domain adaptation approaches.

Key words:remote sensing imagescene classificationdomain adaptationdeep convolutional neural networkadversarial networkmulti-task learning

遙感影像的分類效果很大程度取決於提取的影像特徵，文獻[1]將現有的遙感影像特徵提取方法分為3大類：①人工特徵，如影像的光譜、紋理、空間、GIST、SIFT、HOG等；②基於無監督的特徵，如主成分分析、K-均值聚類、稀疏編碼等；③深度特徵，如SAE、CNNs等。由於深度特徵可以代表影像更為抽象的特徵，因此近兩年大量研究採用深度神經網路來提取遙感影像的特徵[2-8]。然而，深度網路能夠提取出有效特徵的前提是有足夠的訓練樣本[9]。對於一幅陌生的遙感影像，首要的是選取大量的樣本並且對其進行標記，這在實際過程中非常耗時[10-11]。因此在訓練樣本有限甚至沒有的情況下如何訓練出泛化能力較強的網路是目前深度學習領域正在解決的熱點問題。

假設已有一個相對較大的已經標註過的遙感影像數據集，若利用其更加豐富的數據作為訓練樣本，理論上可以訓練出更為成熟、泛化能力更強的網路，用這個網路將會對新的遙感影像提取出更好的特徵。然而，不同數據集之間由於感測器、拍攝角度、季節等的差異，造成同一類型的地物在不同的域中差異巨大。直接將大規模數據集樣本訓練的網路來預測目標數據集，得到的分類結果並不理想。由此，不同數據集之間的域適應問題得以提出，在域適應問題中，提供訓練樣本的數據集所在的域稱為源域，對需要進行分類的數據集稱為目標域。

近些年，諸多學者對域適應問題進行了研究，研究的圖像對象主要集中在Office/Caltech數據集，和Mnist/Mnist_M/USPS/SVHN數據集，前者包含4個域，內容為數碼照片，後者是0-9數字圖像。研究的問題可按照目標域中是否有可用標籤分為兩類[12]：一種是監督/半監督學習，即目標域中所有類或者部分類中部分圖像含有標籤，可以直接作為訓練樣本；另一種是完全無監督學習，即目標域中沒有可用標籤。研究的方法通常有兩種類型：一是用人工特徵、或者訓練好的CNN網路對遙感影像進行特徵提取，然後求出一個轉換矩陣，將源域的特徵映射到目標域中，使兩個域的影像享有同一個特徵空間，這類方法的相關研究有ARC-t[13]、MMDT[14]、HFA[15]、GFK[16]、Landmarks[17]等，其中，GFK和Landmarks是無監督的，其他方法為監督學習的方法。

域適應的另外一種類型是基於深度學習的方法。文獻[18]在標籤代價函數的基礎上，引入了稱為域混淆損失的代價函數，具體做法是在最後一層全連接層之前加了域適應層，源域和目標域的樣本經過該層的輸出特徵後，計算其最大平均偏差距離(maximum mean discrepancy，MMD)，該距離與標籤損失之和為新的目標函數。針對監督和半監督分類，文獻[19]在文獻[18]的基礎上加入了軟標籤損失，用來保持源域和目標域各類之間相對分布的一致性。文獻[20]使用了對抗網路框架[21]來解決域適應問題，其目標函數包括標籤分類器和域分類器兩部分，該方法的對抗思想體現在：對於域適應問題，一是希望網路學到的特徵表示具有域不變的特徵，這就導致域分類器不能正確進行域分類，即域分類器的分類損失最大；二是在對域分類器訓練同時，要求標籤分類器能儘可能地正確分類，即標籤分類器的分類損失最小。

目前域適應方法普遍的試驗對象為普通圖像，近年來也有學者針對遙感影像的域適應方法進行針對性的研究[22-23]。遙感影像相對於普通圖像在域適應問題上有很大不同：一方面其源域和目標域差異較大；另一方面圖像包含的地物信息豐富，需要更深的網路，而更深的網路需要更為豐富的樣本數據支持。傳統域適應方法直接用於遙感影像很難取得較好的分類效果。

針對遙感影像域適應過程中的高解析度遙感影像尺寸大而數據量小的問題，本文提出了基於對抗網路和輔助任務的遙感影像域適應方法，其創新點在於：①首次進行遙感影像無監督域適應場景分類的研究，構建了遙感影像域適應試驗的數據集，設計了結合輔助任務的對抗網路架構；②引入域損失函數，在目標函數中增加了域分類任務，使分類器學習到域不變特徵；③引入不同標籤空間的輔助分類任務，豐富了訓練樣本，提高網路的泛化能力和特徵提取能力。試驗表明，本文方法加入了域損失任務與輔助分類任務，與主流域適應演算法相比，在分類效果上有明顯的優勢。

1 本文提出的方法

問題描述：設源域數據集合為S={(xsi,ysi)}i=1ns，其中xsi為源域中圖像數據，ysi為相應的標籤，ysi∈Ys=,ns為源域中樣本數量；目標域數據集合為T={(xti)}i=1nt，xti為目標域中圖像數據，nt為目標域中樣本數量，目標域中每個樣本的標籤yti是未知的，但是其所在空間是已知的，yti∈Yt=，即YT?YS。S和T服從不同的分布, 記S~Ds，T~Dt，且Ds≠Dt。將源域中與目標域享有共同標籤空間的樣本稱為主樣本Smain={(xmaini,ymaini)}i=1nmain，源域中不屬於目標域空間的樣本稱為輔助樣本Saux={(xauxi,yauxi)}i=1naux，且滿足

(1)

式中，xmaini和xauxi分別為主樣本和輔助樣本中圖像數據；ymaini和yauxi為相應的標籤；nmain和naux為樣本數量。

演算法的目的是，利用源域數據S，求解一個分類器Cθ，使得

(2)

本文方法的框架如圖 1所示，源域和目標域的數據共同輸入到多層卷積神經網路提取特徵，然後將輔助樣本的特徵作為輔助標籤預測器(上側區域)的輸入；將主樣本的特徵輸入到主標籤預測器(中間區域)和域預測器中(下側區域)；將目標域的特徵輸入到域預測器中。所有分類器輸出後與相應的標籤計算損失。本文方法的損失函數為

(3)

損失函數由3部分構成：主損失函數Lmain、輔助類損失函數Laux和域損失函數Ld，λ與γ為相應的權重係數。

1.1 對抗網路

本文設計的網路基於兩個目的：一是網路可以對地物類型進行分類，二是網路具有域不變特性，即網路區分不出來輸入影像來自於哪一個域。前者可以理解調整網路參數，使類損失函數最小；後者可以通過一個域損失函數來實現。對於兩個不同域的影像，除了其自帶的類標籤，人為定義一個域標籤，比如對於源域其標籤為0，對於目標域其標籤為1。域損失越大，域分類器就越難區別輸入影像來自源域或目標域，網路的域適應性也就越好。因此，網路參數需要同時滿足分類損失最小化和域損失最大化，這兩個部分是對抗的。

主損失函數為類別損失，其定義如下

(4)

式中，xmain、ymain分別為共享樣本數據和標籤；θf為特徵提取單元的網路參數；θmain為主分類器的網路參數，該分類器由若干個全連接層組成，分類器最後輸出的單元數為主類的類別數；1為指示函數，當ymain=m成立時值取1，否則取0；pm為softmax層的輸出值，pm=softmax[θmainTf(xmain;θf)]。

按照所在域的不同，分別為源域中的主樣本和目標域中的樣本增加一個域標籤，記為ydmain與ydt，並定義：{ydmain}nmain=0，{ydt}nt=1。域損失定義如下

(5)

式中，θd為域分類器的網路參數，該分類器輸出的單元數為域標籤的類別數，即為2；1為指示函數，當yd=d成立時值取1，否則取0；pd為域分類器softmax層的輸出值，pd=softmax[θdTf(xmain,xt;θf)]。

由於對抗網路的目標是學習到域不變特徵，也就是說域分類器分辨不出類別最好。因此域的損失函數不能與類別損失函數一樣越小越好，而是在源域類別損失相對較小的情況下，域損失函數越大越好。因此求解目標是

(6)

注意到式(6)中，Ld的求解目標是使其最大化，這種情況不能用梯度下降進行求解。為了解決這個問題，定義一個中間函數R(x)，在前向與反向傳播中

(7)

式(7)表示正向傳播時無影響，而反向用梯度更新參數時進行梯度反轉，由此就得到可以滿足使用梯度下降法的表現形式。

1.2 輔助任務

在本文遙感影像域適應應用場景中，源域樣本中還包括了目標域中不存在類別的樣本。為了充分利用源域的樣本，本文加入了輔助任務，其思想來源於多任務學習。多任務學習在單一任務的基礎上，結合了輔助的任務學習共同的特徵表示[24-25]。通過輔助任務學習，最大限度地豐富了訓練樣本，學習到的特徵相對於單任務學習具有更好的泛化能力，並且有效地減小類內距離與增大類間距離，有利於提高分類精度。

本文的輔助損失函數的定義如下

(8)

式中，xaux、yaux分別為輔助樣本數據和標籤；θaux為輔助類線性分類器的網路參數，分類器最後輸出的單元數為輔助類的類別數；1為指示函數，當yaux=k成立時值取1，否則取0；pk為softmax層的輸出值，pk=softmax[θauxTf(xaux;θf)]。輔助損失函數為類別損失，要求其損失越小越好，即求解目標為。

1.3 演算法流程

本文方法的參數更新流程如下

輸入：源域數據S={(xsi,ysi)}i=1ns，目標域數據T={(xti)}i=1nt，初始化參數θf、θaux、θmain、θd，權重係數λ與γ，迭代次數i=0，初始學習率?(0)，最大迭代次數num_step，單次輸入樣本數量batchsize

Whilei＜num_step:

更新參數：

θmain=θmain-?(i)·Δθmain，θaux=θaux-?(i)·Δθaux，θd=θd-?(i)·Δθd，θf=θf-?(i)·Δθf

i+=1

End while

輸出：θf，θmain，並預測標籤

本方法有3個需要人工設置的參數，λ、γ及學習率?。其中，λ是固定的，γ和?按照式(9)和式(10)更新

(9)

(10)

式中，?(0)為初始學習率；t=i/num_step，i為當前迭代次數，num_step為最大迭代次數。

2 試驗2.1 構建數據集

目前還沒有公開的適用於遙感影像域適應試驗的數據集，故本文使用了3個數據作為數據源構建域適應數據集，分別是：①NWPU-RESISC45數據集[1](簡稱NWPU)，該數據集含有45類場景的遙感影像，每類影像都包含有700張圖片，共31500張影像；②一整幅遙感影像為Quickbird衛星拍攝的西安市遙感影像(簡稱Xian)，尺寸為13312×7680像素。對Xian進行了切割，並人工分類標註，選出與NWPU重疊的8個類，共339張影像；③一整幅遙感影像為高分二號衛星拍攝的廣州市遙感影像(簡稱GZ)，與處理Xian類似，對其進行切割與人工標註，選出與NWPU重疊的8個類，共826幅影像。因此以上3個數據集共構成了兩組遙感影像域適應數據集，將其分別命名為NWPU-Xian8及NWPU-GZ8。示例圖像如圖 2所示，每張示例圖像底部數字為該類樣本數。從圖 2可以看出，NWPU-Xian8的圖像差異較大，Xian的影像顏色存在失真，並且雜訊較為嚴重，而NWPU-GZ8影像差異較小。兩組數據集中NWPU的其餘37類影像在這裡不再展示，請參考文獻[1]。以上所有影像的尺寸為256×256。

2.2 試驗設置

針對兩組數據集進行的試驗中，分別將NWPU整個45類作為源域，Xian及GZ作為目標域。因此在NWPU-Xian8及NWPU-GZ8中，主任務的數據類別都為8類，輔助類別為37類。訓練及測試時對輸入到網路中的影像隨機裁剪為227×227，網路的各個參數，比如卷積核大小，步長和卷積層的層數如圖 3所示，前8個方框表示特徵提取層，本文特徵提取階段使用了預訓練的Alexnet網路結構[24]。緊接著特徵提取層，為3個網路分支，這3個分支分別為主分類器，輔助分類器和域分類器。3個分類器都是由全連接層構成，其最終輸出結點分別為8、37和2。本文所有試驗代碼基於tensorflow進行搭建，硬體環境為Amazon EC2的P2.xlarge實例，該實例的GPU型號為nvidia tesla k80。

2.3 試驗結果與分析

將本文方法與文獻中其他方法進行試驗對比。對比的方法有：①source only，將源域數據輸入到網路進行訓練，直接對目標域進行分類，不加入域損失和輔助損失函數；②GFK，文獻[5]中的方法；③Landmark，文獻[6]所介紹的方法，是文獻[5]方法的擴展，GFK和Landmark，其使用的圖像特徵是由預訓練的alexnet網路的fc7層提取得到，每張圖像都表示為4096維特徵；④source+domain，文獻[20]中的方法，即源域樣本分類與域分類同時進行，沒有增加輔助分類任務；⑤MMD，文獻[7]中的方法，使用MMD損失函數進行域間最小化。對於source only及後3種方法，設置初始學習率?(0)=0.002，batchsize=64，最大迭代次數為10000；MMD中，MMD損失是用fc7的輸出進行計算得到，係數為0.25；本文方法中，λ=1。各類方法最後對目標域數據進行分類，對於GFK和Landmark，計算20次試驗的平均精度作為其最終精度。對於其他方法，設置每訓練25次進行一次測試，將最後10次測試的平均精度作為其最終精度，6種方法最終測試精度列於表 1。基於最後一次測試的結果計算各方法預測的混淆矩陣，將各個方法對於NWPU-Xian8數據集的混淆矩陣列於圖 4。

表 1不同演算法分類精度Tab. 1Classification accuracy of different algorithms

表選項

從表 1可以得到看出，本文方法在精度上優於其他演算法，source+domain次之。圖 4中，本文方法相對於其餘5類方法，表現較為均衡，對於容易混淆的intersection、freeway和overpass這3類的精度也有了一定的提高。由此表明了對抗網路和輔助任務可以較好地學習到域不變特徵，提高網路的泛化能力和分類精度。

為了進一步驗證本文方法提取域不變特徵的優勢，用高維數據可視化工具t-SNE對NWPU-Xian8數據集聚類結果進行可視化(t-SNE詳情參見文獻[27])。聚類的對象為進入到分類器之前目標域所有數據的特徵。如圖 5所示，圖(a)為直接採用預訓練的Alexnet網路提取的fc7層特徵，圖(b)為本文方法倒數第2層輸出的特徵，兩種特徵都為4096維。兩張圖分別表示未進行域適應和進行了域適應後目標域數據各類之間的關係。可以看出進行域適應後，目標域各類之間距離增大，同類之間距離減小，很好地學習到了域不變特徵。

3 結論

本文針對遙感影像場景分類中小樣本量的無監督學習問題，提出了一種結合對抗網路與輔助任務的遙感影像域適應方法，建立了基於深度卷積神經網路的遙感影像分類框架，在標籤損失函數的基礎上加入了域分類器，並使得域損失函數與標籤損失形成對抗的關係，最後引入了輔助分類任務，擴充訓練樣本。在本文構建的遙感影像域適應數據集上試驗結果表明，本文方法能夠通過域損失學習到域不變特徵，通過輔助分類任務增加類間距離、減小類內距離，並使網路具有良好的泛化能力，在不同域的無監督分類中有明顯的優勢。對小樣本量的Xian和GZ數據集無監督分類精度達到79.63%和84.63%，相對於直接利用大樣本量數據集NWPU對Xian和GZ數據集分類(58.40%和76.99%)，本文方法分類效果有顯著提高。

【引文格式】許夙暉，慕曉冬，張雄美，等。結合對抗網路與輔助任務的遙感影像無監督域適應方法[J]. 測繪學報，2017，46(12)：1969-1977. DOI: 10.11947/j.AGCS.2017.20170291

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！