基于重參數化技術和互信息最大的IMRChangeMamba編碼器
中文題目：基于重參數化技術和互信息最大的IMRChangeMamba編碼器
論文題目：IMRChangeMamba Encoder Based on Reparameterization Technique and Mutual Information Maximization
錄用期刊/會議：CPCC2025 （CAA A類會議）
錄用時間：2025.5.28
作者列表：
1)吳祎凡 中國石油大學（北京）人工智能學院 控制科學與工程 研23級
2)劉建偉 中國石油大學（北京）人工智能學院 自動化系 教師
摘要:
1)ChangeMamba的核心設計：ChangeMamba模型基于傳統的卷積神經網絡（CNN）和Transformer架構，采用了Mamba編碼器，該編碼器通過狀態空間模型（SSM）有效地學習輸入圖像中的空間時間特征。與傳統模型的局部卷積操作不同，ChangeMamba通過狀態空間轉換，捕捉到了更多的跨時刻變化信息。然而，盡管該架構具有一定的優勢，但如何進一步增強不同時間步特征的一致性，依舊是一個待解決的問題。
2)在此基礎上，我們引入了重參數化技術和最大化互信息的概念，進一步優化了ChangeMamba模型的表現。通過這種方式，模型能夠在多個時間步驟之間保持特征的一致性，極大地提升了其對時序變化的理解能力。具體來說，我們通過重參數化技術將不同時間步的特征映射到同一潛在空間中，然后使用互信息最大化方法來確保這些潛在特征的一致性。
3)關鍵技術——最大化互信息：在信息論中，互信息用于度量兩個隨機變量之間共享的信息量。在我們的研究中，最大化互信息的目標是使得不同時間步驟的特征在潛在空間中具有最大的一致性。通過這種方法，我們能夠顯著提升模型在捕捉時序變化時的穩定性和精度，尤其是在面對復雜的變化環境時，模型能夠更好地識別出潛在的變化模式。
4)提出的IMRChangeMamba模型：首先，通過重參數化技術，我們確保了在不同時間步驟之間的潛在變量的可微性，從而使得模型在訓練時能夠更有效地捕捉時序變化；其次，通過最大化互信息，我們強化了時間步之間的特征一致性，顯著提升了模型在變化檢測中的表現。
背景與動機:
目前，遙感變化檢測（CD）領域的主流模型，如卷積神經網絡（CNNs）和Transformer，在一定程度上取得了顯著進展，但也存在明顯的局限性。具體來說，CNNs由于其接收域的限制，難以有效捕捉更廣泛的空間上下文信息；而Transformer雖然在建模長距離依賴關系上具有明顯優勢，但其高計算成本使得在大規模數據集上的訓練和部署面臨較高的開銷。近年來，基于狀態空間模型（SSM）的Mamba架構在多種任務中取得了顯著成果，有效地克服了CNNs和Transformer的這些限制。盡管ChangeMamba架構在遙感變化檢測中展現了良好的性能，尤其在時序特征和空間上下文信息的捕捉方面，但在處理多個時間步的特征時，仍然面臨如何增強不同時間步特征一致性的挑戰。具體而言，模型在不同時間步提取的特征可能存在偏差，從而導致信息丟失或特征不穩定，這會影響變化區域的精確識別，尤其是在細微變化或復雜場景下。特征的不一致性不僅限制了潛在空間的有效表示，還增加了多時刻數據處理的難度，特別是在捕捉跨時間步的變化時更為突出。盡管現有的ChangeMamba模型在時序特征學習方面已有一定進展，但缺乏有效手段對潛在空間進行有效表征，也未通過有效的約束來確保不同時間步之間特征的一致性。因此，本研究提出了創新性的改進，通過引入重參數化技術和最大化互信息的方式，來解決這一問題，進一步提升模型的穩定性和準確性。
主要內容:
圖1 IMRChangeMamba結構圖
結論:
針對遙感圖像變化檢測任務，我們通過引入重參數化技術和互信息最大化技術，改進了原始的ChangeMamba模型，增強了特征在多個時間步長上的一致性。這使得模型能夠更準確、更穩健地捕捉時空變化，尤其適用于復雜的城市環境。實驗結果顯示，在二進制變化檢測（BCD）方面，提出的IMRChangeMamba模型優于現有的基于CNN和Transformer的方法。此外，該模型在處理降質數據時也表現出更強的魯棒性。通過引入互信息損失和重參數化技術，提高了特征在不同時間步長間的對齊度，從而在不采用復雜訓練策略的情況下實現了更準確的變化檢測。提出的IMRChangeMamba模型架構成為遙感變化檢測的一個有前景的解決方案，并為未來的大規模應用提供了提高效率和可擴展性的潛力。
作者簡介:
劉建偉，教師。