基于多約束和損失權重的變化檢測
中文題目：基于多約束和損失權重的變化檢測
論文題目：Change Detection with Incorporating Multi-Constraints and Loss Weights
錄用期刊/會議：Engineering Applications of Artificial Intelligence (中科院SCI 2區，JCR Q1，Top)
原文DOI：https://doi.org/10.1016/j.engappai.2024.108163
原文鏈接：https://www.sciencedirect.com/science/article/pii/S095219762400321X
錄用/見刊時間：2024.01.24
作者列表：
1）張成杰 中國石油大學（北京）信息科學與工程學院/人工智能學院 控制科學與工程 碩21
2）劉建偉 中國石油大學（北京）信息科學與工程學院/人工智能學院 自動化系 教師
摘要:
本文提出了一種用于遙感影像變化檢測的變化檢測(CDMC)，該網絡采用了先進的基線網絡，即將孿生網絡和UNet結合的網絡架構，并通過相似性約束和邊界互補信息約束增強基線網絡的學習能力，解決背景一致性和邊緣噪聲問題。相似性約束由兩個多層感知器組成，這些感知器指導深層特征的背景一致性，并抑制“不感興趣”的變化，例如由位置和照明等環境因素引起的變化。通過添加邊界類實現邊界互補信息約束，增強了模型對“感興趣”目標周圍不確定性強的位置的關注。自適應對偶損失模塊使用可訓練參數為不同的類設置權值，有效防止模型過于關注背景類，緩解類不平衡問題。自適應加權損失模塊對相似約束和邊界互補信息約束的重要性進行加權。本模型與5種主流的變化檢測方法在BCDD、LEVIR-CD、DSIFN和S2Looking等4個大型現實遙感數據集上進行了比較。實驗結果表明，該方法具有較好的精度、收斂速度和穩定性。通過對統計結果和可視化結果的分析，所提出的CDMC減少了假陽性樣本的數量和目標周圍的不確定性。
背景與動機:
現有的遙感影像變化檢測方法在面對復雜應用場景時仍面臨一些挑戰。首先，如表1所示，根據統計數據得出的結果，現存先進方法的檢測結果中，假陽性樣本比假陰性樣本多，即錯誤像素在背景區域中出現的更多。另一方面，如圖1所示，從可視化結果可以發現，現存的先進方法的檢測結果中，“感興趣”的目標周圍的邊緣噪聲非常嚴重，有效的解決該問題，可以顯著的優化變化檢測方法的檢測結果。
表1 SNUNet在四個數據集上預測結果中假陽性樣本和假陰性樣本的數量統計
Dataset |
LEVIR |
BCDD |
S2Looking |
DSIFN |
False Positive |
675823 |
1037232 |
12732222 |
1209552 |
False negative |
662120 |
508429 |
8514302 |
507030 |
圖1 SNUNet在四個數據集上的視覺結果
設計與實現:
本文提出的基于多約束和損失權重的變化檢測方法（CDMC）的結構圖如圖2所示。相似性約束采用了兩個多層感知器的結構構成，對生成的特征的背景一致性施加約束，緩解由于氣候變化、預處理校正等原因，不同圖像域之間存在細微的風格差異。對于邊界互補信息約束，首先將與不變像素相鄰的變化像素設置為變化的邊界類，將與變化像素相鄰的不變像素設置為不變邊界類。在“感興趣”的目標邊界上總是存在大量的錯誤預測，邊界互補信息有效地增強了邊界附近特征的區分。
對于自適應對偶損失模塊，類損失權重
在訓練過程中將自適應調整。對于第
類，軟最大激活函數層（SoftMax）
的輸出為：
然后，引入了交叉熵損失的一種變體——對偶損失，對偶損失同時關注了兩類損失，而不產生太多偏見，且更多地關注于2-范數難以區分的樣例。令真值標簽為
，預測輸出為
，自適應對偶損失可以描述為下式：
為了避免手動優化余弦相似損失
和邊界互補信息損失
的相對權重，我們引入自適應權重損失模塊，稱為自適應加權損失模塊（Adaptive Weight Loss, AWL）。通過計算損失的方差不確定性，得到了加權損失函數。公式化如下：
圖2 CDMC結構圖
實驗結果及分析:
對比實驗的結果主要以兩種形式呈現，分別是評價指標的定量比較和變化圖的可視化對比。如表2所示，本模型在四個數據集上的指標均為最優。圖3可視化結果也可以看出，CDMC主要緩解了邊緣噪聲問題。消融實驗中，我們對兩個約束條件都進行了消融對比，從指標結果可以看出，這兩個模塊都起到了模型優化的作用。最后，我們使用了顯著性分析方法，對對比實驗中的結果進行弗里德曼排序，可以看出本模型排名第1。
（1）對比實驗
表2 不同方法在BCDD、LEVIR、DSIFN和S2Looking數據集上的精確率、召回率、F1、和IoU對比（%）
BCDD |
LEVIR |
DSIFN |
S2Looking |
|
Pre/Rec/F1/IoU |
Pre/Rec/F1/IoU |
Pre/Rec/F1/IoU |
Pre/Rec/F1/IoU |
|
FC-EF |
92.70/69.24/79.27/65.66 |
96.55/68.58/80.20/66.94 |
72.61/52.73/61.09/43.98 |
81.36/8.95/7.65/8.77 |
FC-SC |
93.20/7214/81.33/68.53 |
97.60/69.29/81.04/68.13 |
66.45/54.21/59.71/42.56 |
68.27/18.52/13.54/17.05 |
FC-SD |
91.13/74.31/81.87/69.30 |
97.35/69.16/80.87/67.88 |
59.67/65.71/62.54/45.50 |
59.67/15.76/13.19/14.24 |
SNUNet |
85.60/81.49/83.50/71.67 |
89.18/87.17/88.16/78.83 |
60.60/72.89/66.18/49.45 |
27.53/23.47/21.51/14.51 |
STANet |
79.37/85.50/82.32/69.95 |
83.81/91.00/87.26/77.40 |
67.71/61.68/64.56/47.66 |
38.75/56.49/45.97/29.84 |
CDMC |
92.64/89.50/91.04/83.56 |
93.09/88.07/90.51/82.67 |
66.08/67.08/66.58/49.90 |
64.88/58.15/61.34/44.23 |
圖3 不同方法在BCDD、LEVIR、DSIFN和S2Looking數據集上的可視化結果。從上往下分別是BCDD、LEVIR、DSIFN和S2Looking；(a)變化前圖像，(b)變化后圖像，(c)變化真值圖，(d)CDMC的可視化結果，(e) SNUNet的可視化結果，(f) FC-SD的可視化結果
（2）消融實驗
表3 消融方法在BCDD和LEVIR數據集上的精確率、召回率、F1、和IoU對比（%）
|
BCDD |
LEVIR |
Pre/Rec/F1/IoU |
Pre/Rec/F1/IoU |
|
CD |
61.44/95.95/74.91/59.88 |
74.94/96.52/84.38/72.97 |
Without BCI |
78.88/93.52/85.58/74.79 |
75.17/97.20/84.78/73.58 |
Without similarity |
93.43/85.65/89.37/80.79 |
91.93/88.99/9044/82.54 |
CDMC |
92.64/89.50/91.04/83.56 |
93.09/88.07/90.51/82.67 |
（3）弗里德曼排名
表4 弗里德曼排名
Method |
Ranking |
CDMC |
1 |
FC-EF |
5.75 |
FC-SC |
4.75 |
FC-SD |
4.5 |
SNUNet |
2.25 |
STANet |
2.75 |
結論:
我們提出了一種基于多約束和損失權重的變化檢測模型，在BCDD、LEVIR-CD、DSIFN和S2Looking數據集上實現最優的精度、收斂速度和穩定性。更準確地說，我們的模型在這些數據集上的F1和IoU得分分別提高了7.54/11.89、2.35/3.84、0.40/0.45和15.37/14.39分，在指標上有顯著的提升。相似性約束指導深層特征的背景一致性，并抑制不感興趣的變化，例如由位置和照明等環境因素引起的變化。邊界互補信息約束增強了模型對感興趣目標周圍不確定性強的位置的關注，抑制了邊緣噪聲。此外，自適應對偶損失模塊自動更新邊界互補信息損失中的類權重，緩解類不平衡。CDMC通過分析統計結果和可視化結果，確實減少了誤報樣本的數量，抑制了邊緣噪聲，這是實現顯著提升的主要原因。
通訊作者簡介:
劉建偉，副教授，教師，學者。研究領域涉及在線學習（包括強化學習，賭博機算法，持續學習，長尾學習）；圖像視頻顯著性目標檢測，解糾纏表示學習，光場和神經場模型，以及圖像視頻少樣本變化檢測；自然語言理解中的知識補全，圖神經網絡；不平衡數據處理；霍克斯點過程故障預測與診斷；非線性預測與控制。 是兵器裝備工程學報第三屆編輯委員會委員。歷屆中國控制會議(CCC)和中國控制與決策會議(CCDC)的程序委員會委員。擔任過80多個國際會議的TPC。