預(yù)訓(xùn)練擴散模型的無記憶增量學(xué)習(xí)
中文題目：預(yù)訓(xùn)練擴散模型的無記憶增量學(xué)習(xí)
論文題目：Memory-free Incremental Learning on Pretrained Diffusion Model
錄用期刊/會議：CCDC2025（CAA A類會議）
錄用時間：2025.1.9
作者列表：
1)張豪豪 中國石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 研22級
2)劉建偉 中國石油大學(xué)（北京）人工智能學(xué)院 自動化系 教師
摘要:
1)我們提出了一種新穎的框架，該框架利用預(yù)訓(xùn)練的擴散模型進(jìn)行生成性重放，消除了對內(nèi)存緩沖區(qū)的需要，同時解決了有關(guān)內(nèi)存開銷和數(shù)據(jù)隱私的問題。
2)我們引入LCM模塊來加速數(shù)據(jù)生成，顯著降低計算成本。
3)我們在三個基準(zhǔn)數(shù)據(jù)集CIFAR-10、CIFAR-100和Mini-ImageNet上的實驗表明，我們的方法始終優(yōu)于基準(zhǔn)方法。
主要內(nèi)容:
圖1描繪了增量學(xué)習(xí)框架，其結(jié)合了三個不同的數(shù)據(jù)源以促進(jìn)模型訓(xùn)練。傳統(tǒng)的經(jīng)驗重放(ER)方法涉及通過將舊樣本存儲在內(nèi)存緩沖區(qū)中并定期重放它們來訓(xùn)練模型。另一方面，DGR利用生成模型(例如或GAN)來創(chuàng)建用于生成重放的合成樣本，這需要生成訓(xùn)練和分類網(wǎng)絡(luò)的同時訓(xùn)練。與DGR相比，本文利用預(yù)訓(xùn)練的擴散模型作為再生重放的來源，使我們能夠只關(guān)注分類網(wǎng)絡(luò)。重放方法通過重放保存在內(nèi)存緩沖區(qū)中的早期任務(wù)的圖像選擇來增強模型性能。為了保持公平，我們的生成模型為每個任務(wù)生成相同數(shù)量的圖像，與基于重放的方法中使用的數(shù)量相匹配。當(dāng)一個新的任務(wù)被引入時，我們應(yīng)用生成重放策略從先前的任務(wù)中隨機選擇標(biāo)簽信息的子集，并基于提示生成相應(yīng)的圖像樣本。這些生成的圖像隨后與來自當(dāng)前任務(wù)的小批量圖像相結(jié)合，并輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。
圖1 本文的模型總體框架
結(jié)論:
提出一種基于擴散的在線課堂增量學(xué)習(xí)生成重放方法。為了解決與數(shù)據(jù)隱私和內(nèi)存限制相關(guān)的問題，我們的方法消除了在訓(xùn)練期間存儲示例圖像的需要。此外，考慮到用有限的數(shù)據(jù)從零開始訓(xùn)練生成模型的挑戰(zhàn)，特別是在在線增量學(xué)習(xí)中，我們建議利用預(yù)訓(xùn)練擴散模型的能力來生成圖像。為了加速傳統(tǒng)擴散模型的采樣階段，我們在潛在空間中制定正向和反向擴散過程，進(jìn)一步利用潛在一致性模型(LCMs)來加速采樣。重要的是，所提出的方法提供了很強的兼容性，并可以與各種增量學(xué)習(xí)策略相結(jié)合。我們的方法在三個基準(zhǔn)數(shù)據(jù)集上進(jìn)行了評估，實驗結(jié)果表明，它明顯優(yōu)于先前的深度生成重放基準(zhǔn)方法。
作者簡介:
劉建偉，教師。