動態變化環境下專家場景遷移學習率的自適應權重更新
中文題目：動態變化環境下專家場景遷移學習率的自適應權重更新
論文題目：The adaptive weight updating of learning rate for migrating expert scenarios on dynamic and changing environments
錄用期刊/會議：CCC2025 （CAA A類會議）
錄用時間：2025.1.2
作者列表：
1)宋宇 中國石油大學（北京）人工智能學院 自動化系 教師
2)周佳佳 中國石油大學（北京）人工智能學院 控制科學與工程 研18級
3)代思怡 中國石油大學（北京）人工智能學院 控制科學與工程 研23級
4)劉建偉 中國石油大學（北京）人工智能學院 自動化系 教師
摘要:
首先，我們選擇相對熵損失函數作為自適應權值動態更新工具，用于獲取遷移專家學習場景的后悔上界。 其次，參考在線觸發器算法的討論，推導了如何自適應地動態調整學習速率。我們也得到了學習率的上界。 最后將學習率的上界轉化為后悔函數的上界，討論了如何在后悔函數上得到一個更小的上界，實現超參數的自適應調整。
主要內容:
定理:假定
, 
, 比較序列
具有k次遷移: 
權值更新算法
具有下列后悔上界:
這里,
結論:
本文討論了遷移專家場景中學習速率的優化和調整對學習效果的影響。遷移專家場景在不同的學習階段有不同的模型，所以我們首先使用混合權重更新公式來討論在線學習中的遷移學習場景，通過混合不同時刻之前的權重，可以在很大程度上減少遷移帶來的損失，從而得到一個新的誤差上界。混合權重更新公式可以解決稀疏復雜模型的問題，該方法對許多真實數據集非常有效。同時，考慮到在遷移場景中，很難自始至終給出一個最優的學習速率，在線觸發器算法可以獲得更好的學習效果。我們討論了使用損失函數和近似損失函數之間的差來設定學習率的切換條件，這樣可以得到更小的誤差損失。
作者簡介:
劉建偉，教師。