2019 語言分割指南

語義分割是指將圖像中的每個像素歸於類標籤的過程，這些類標籤可以包括一個人、汽車、鮮花、一件傢具等。

我們可以將語義分割認為是像素級別的圖像分類。例如，在有許多汽車的圖像中，分割會將所有對象標記為汽車對象。然後，一個稱為實例分割的模型能夠標記一個出現在圖像中的物體的獨立實例。這種分割在計算對象數量的應用程序中非常有用，例如計算商城的行人流量。

它的一些主要應用是在自動駕駛、人機交互、機器人和照片編輯/創意工具中。例如，語義分割在汽車自動駕駛和機器人技術中是至關重要的，因為對於一個模型來說，了解其所處環境中的語義信息是非常重要的。

圖源：http://www.cs.toronto.edu/~tingwuwang/semantic_segmentation.pdf

我們來看看一些涵蓋最先進的構建語義分割模型方法的研究論文，即：

• Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation (用於語義分割的弱監督和半監督的深度神經網路)

• Fully Convolutional Networks for Semantic Segmentation (用於語義分割的全卷積神經網路)

• U-Net: Convolutional Networks for Biomedical Image Segmentation (用於生物醫學圖像的語義分割卷積神經網路)

• The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation （用於語義分割的全卷積DenseNet）

• Multi-Scale Context Aggregation by Dilated Convolutions (基於擴張卷積的多尺度上下文聚合)

• DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs(DeepLab: 使用深度神經網路，空洞卷積，和全連接CRF做語義分割的網路)

• Rethinking Atrous Convolution for Semantic Image Segmentation（語義分割中的空洞卷積的再思考）

• Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation（ 空間金字塔池化模塊和編碼-解碼結構用於語義分割的深度網路結構.）

• FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation（Fast FCN:對語義分割分割後端的空洞卷積的再思考）

• Improving Semantic Segmentation via Video Propagation and Label Relaxation（通過視頻傳播和標籤鬆弛改善語義分割）

• Gated-SCNN: Gated Shape CNNs for Semantic Segmentation（門控-SCNN: 用於語義分割的門控形狀卷積神經網路）

以上論文鏈接可點擊此處訪問。01. 用於語義圖像分割的深度神經網路弱和半監督學習（ICCV，2015）

這篇文章提出了一種解決方法，用於面對深度卷積網路中處理弱標記數據的難題、以及處理良好標記與未適當標記數據結合。

本文應用了一個深度CNNs與全連接條件隨機場的組合。

用於語義分割的DCNN弱和半監督學習（https://arxiv.org/abs/1502.02734）

在PASCAL VOC分割基準中，這個模型給出了超過70%的平均IoU。這種模型的一個主要難題是它在訓練時需要在像素層次標記的圖像。

這篇文章的主要貢獻在於：

• 引入弱監督和半監督設定都適用的期望最大化演算法來用於邊界框或圖像層次的訓練；

• 證明弱與強標記的組合能夠改善性能，在合併MSCOCO數據集和PASCAL數據集的標記後，論文作者在PASCAL VOC2012上獲得73.9%的IoU；

• 證明通過合併少量像素級標記圖像和大量邊框或圖像級標註圖像獲得了更好的性能。

用於語義分割的全卷積網路（https://arxiv.org/abs/1605.06211）

這篇文章提出的模型在PASCAL VOC 2012上取得了67.2%的平均IU。

全連接網路輸入任意大小的圖像，生成一個對應空間維度的輸出。在這個模型中，ILSVRC分類器被轉換成一個全連接網路，並使用逐像素損失和網路內上採樣強化來進行密集預測，之後對分割的訓練就通過fine-tuning完成。Fine-tuning是在整個網路上進行反向傳播完成的。

在生物醫學圖像處理中，獲得圖像中每個細胞的類別標籤至關重要。而生物醫學任務中最大的挑戰就在於難以獲得數以千計的圖像來用於訓練。

U-Net：用於醫學圖像分割的卷積網路（https://arxiv.org/abs/1505.04597）

這篇文章構建在全卷積層之上，並將其修改使其在一些訓練圖像上有效併產出更精確的分割。

因為只能獲得很少的訓練數據，這個模型在已有數據上應用彈性變形來對數據增強。就如上面圖1中所示，網路架構由左側的收縮路徑和右側的膨脹路徑組成。

收縮路徑由兩個 3x3 卷積組成，每個卷積後面都跟一個修正線性單元和一個用於下採樣的 2x2 最大池化。每個下採樣階段都多使特徵通道數加倍。膨脹路徑步驟中包含一個特徵通道的上採樣。這後面跟著將特徵通道數減半的 2x2 上卷積。最後一層是一個將成分特徵向量映射到要求類別數的 1x1 卷積。

在這個模型中，訓練使用輸入圖像——它們的分割圖，和一個Caffe實現的隨機梯度下降完成。數據增強用於在使用很少的訓練數據時教會網路達到所要求的魯棒性和不變性。模型在一個實驗中達到了0.92的平均IoU。

04. 100層Tiramisu：用於語義分割的全卷積DenseNets（2017）

DenseNets背後的思想是使每一層以前向傳播的方式連接到所有層會使網路更易於訓練並更精確。

100層Tiramisu：用於語義分割的全卷積DenseNets（https://arxiv.org/abs/1611.09326）

模型結構構建在dense塊的下採樣和上採樣路徑中，下採樣路徑有2個Transitions Down（TD）而上採樣路徑有兩個Transitions Up（TU）。圓圈和箭頭表示網路內的連接模式。

這篇文章的主要貢獻在於：

• 擴展DenseNet結構到全卷積網路來用於語義分割；

• 提出dense網路中的上採樣路徑比其他上採樣路徑性能更好；

• 證明這個網路能夠在標準基準上產生最優結果。

這個模型在CamVid數據集上達到了88%的全局準確率。

05. 擴張卷積的多尺度背景聚合（ICLR,2016）

在這篇論文中，開發了一種卷積網路模塊，它可以在不損失解析度的情況下融合多尺度的上下文信息。然後該模塊可以以任何解析度插入現有架構。該模塊基於擴張卷積。

該模塊在Pascal VOC 2012數據集上進行了測試。它證明向現有語義分段體系結構添加上下文模塊可提高其準確性。

經過實驗訓練的前端模塊在VOC-2012驗證集上實現了69.5%的平均IoU，在測試機上實現了71.3%的平均IoU。該模型對不同物體的訓練精度如下所示。

06. DeepLab: 基於深度卷積網路，空洞卷積和全連接CRFs的圖像語義分割(TPAMI, 2017)

• 通過使用DCNNs改進目標邊界的定位。

DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully… （https://arxiv.org/abs/1606.00915）

這篇文章提出的DeepLab系統在PASCAL VOC-2012語義圖像分割任務上實現了79.7%的mIOU。

本文針對深度CNNs在語義分割應用中面臨的主要挑戰，包括：

• 由Max-Pooling和下採樣的組合導致的特徵解析度的降低。

• 目標的多尺度問題。

• DCNN空間變換的不變性導致定位精度降低，而以對象為導向的分類器又需要具有空間變換不變性。

空洞卷積可以通過對濾波器插入零點進行上採樣來實現，也可以對輸入特徵map進行稀疏採樣來實現。第二種方法需要對輸入特徵圖通過一個等於空洞卷積率r的因子進行下採樣，並將其去除間隔行生成r^2的縮減解析度map，每種可能的轉換為r×r解析度的縮減變換均對應一個解析度map。然後，對得到的特徵map應用標準卷積操作，將提取到的特徵與圖像的原始解析度進行融合。

本文討論了使用DCNNs進行語義分割的兩個挑戰（前面提及）；應用連續池化操作出現的特徵解析度降低和對象在多尺度出現。

重新思考用於語義圖像分割的Atrous卷積（https://arxiv.org/abs/1706.05587）

為了解決第一個問題，文章建議使用Atrous卷積，也成為擴張卷積。它提出通過使用Atrous卷積來擴大視野，因此包含了多尺度上下文，來解決第二個問題。

在沒有DenseCRF後處理的情況下，本文的"DeepLabv3"在PASCAL VOC 2012測試集上達到了85.7%的準確率。

08. 基於空洞可分離卷積編解碼器的圖像語義分割(ECCV, 2018)

本文的方法「DeepLabv3+」，在無需對PASCAL VOC 2012和Cityscapes數據集進行任何後期處理的情況下，測試集性能分別達到89.0%和82.1%。該模型是DeepLabv3的擴展，通過添加一個簡單的解碼器模塊來細化分割結果。

基於空洞可分離卷積編解碼器的圖像語義分割（https://paperswithcode.com/paper/encoder-decoder-with-atrous-separable）

圖源：https://arxiv.org/pdf/1802.02611v3.pdf

本文實現了兩種使用空間金字塔池化模塊進行語義分割的神經網路。一種方法通過融合在不同解析度下的特徵來捕獲上下文信息，而另一種方法則著眼於獲得清晰的目標邊界。

圖源：https://arxiv.org/pdf/1802.02611v3.pdf

文章提出了一個聯合上採樣模塊，命名為聯合金字塔上採樣（JPU），以取代消耗大量時間和內存的擴張卷積。它的工作原理是將獲取高解析度圖像的任務轉化為聯合上採樣問題。

該方法在Pascal Context數據集上實現53.13%的mIoU性能，運行速度提高了三倍。

圖源：https://arxiv.org/pdf/1903.11816v1.pdf

該方法實現了全連接網路（FCN）作為主幹，同時應用JPU對低解析度特徵映射進行上採樣，從而生成高解析度的特徵映射。用JPU代替擴張的卷積不會導致任何性能損失。

圖源：https://arxiv.org/pdf/1903.11816v1.pdf

本文提出了一種基於視頻的方法，通過合成新的訓練樣本來擴展訓練集。這是為了提高語義分割網路的準確性。這種方法探究了視頻預測模型預測未來幀的能力，以便預測未來幀的標籤。

通過視頻傳播法和標記鬆弛法優化語義分割（https://paperswithcode.com/paper/improving-semantic-segmentation-via-video）

來源：https://arxiv.org/pdf/1812.01593v3.pdf

利用合成數據集對分割網路進行訓練，提高了預測精度。本文所提出的方法在Cityscapes數據集上可以達到83.5%的mIoUs，在CamVid數據集上可以達到82.9%的mIoUs。

圖源：https://arxiv.org/pdf/1812.01593v3.pdf

本文提出了兩種預測未來標籤的方法：

• 標籤傳播法(LP)通過將傳播的標籤與真實的未來幀進行配對，以創建新的訓練樣本。

• 圖像-標籤混合傳播法(JP)通過將傳播標籤與相應的傳播圖像進行配對，以創建新的訓練樣本。

本文主要有三個命題;利用視頻預測模型將標籤傳播到相鄰幀，引入圖像-標籤混合傳播法來處理圖像的不對齊問題，並通過最大化聯合類概率似然函數來鬆弛one-hot標籤的訓練。

圖源：https://arxiv.org/pdf/1812.01593v3.pdf

這篇文章是語義分割模塊的最新進展。作者提出了一種雙流CNN架構。在此體系結構中，形狀信息作為單獨的分支處理。該形狀流僅處理邊界相關信息。這由模型的門控卷積層（GCL）和本地監督強制執行。

門控SCNN：用於語義分段的門控形狀CNNs（2019，https://arxiv.org/abs/1907.05740）

該模型在mloU上的表現優於DeepLab-v3+ 1.5%，在F界面得分上優於4%。該模型已使用Citycapes基準進行評估。在較小和較薄物體上，該模型在IoU上實現7%的改進。

下表顯示了Gated-SCNN和其他模型的性能比較

我們現在應該跟上一些最常見的，以及集中最近在各種環境中執行語義分割的技術。

上面的文章/摘要包含其代碼實現的鏈接。我們很高興看到您在測試後獲得的結果。

Via:https://heartbeat.fritz.ai/a-2019-guide-to-semantic-segmentation-ca8242f5a7fc

想要繼續查看該篇文章相關鏈接和參考文獻？

點擊【2019 語義分割指南】即可訪問~

福利大放送——滿滿的乾貨課程免費送！

「好玩的Python：從數據挖掘到深度學習」該課程涵蓋了從Python入門到CV、NLP實踐等內容，是非常不錯的深度學習入門課程，共計9節32課時，總長度約為13個小時。。

課程頁面：https://ai.yanxishe.com/page/domesticCourse/37

「計算機視覺基礎入門課程」本課程主要介紹深度學習在計算機視覺方向的演算法與應用，涵蓋了計算機視覺的歷史與整個課程規劃、CNN的模型原理與訓練技巧、計算機視覺的應用案例等，適合對計算機視覺感興趣的新人。

課程頁面：https://ai.yanxishe.com/page/domesticCourse/46

現AI研習社將兩門課程免費開放給社區認證用戶，只要您在認證時在備註框里填寫「Python」，待認證通過後，即可獲得該課程全部解鎖許可權。心動不如行動噢~

認證方式：https://ai.yanxishe.com/page/blogDetail/13999

雷鋒網雷鋒網雷鋒網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！