科研動(dòng)態(tài)
進(jìn)化數(shù)據(jù)流中重復(fù)出現(xiàn)的概念的雙層交替元學(xué)習(xí)
中文題目：進(jìn)化數(shù)據(jù)流中重復(fù)出現(xiàn)的概念的雙層交替元學(xué)習(xí)
論文題目：A Bi-level Alternating Meta-learning for Recurring Concept on Evolving Data Streams
錄用期刊：International Journal of Uncertainty,Fuzziness and Knowledge-Based Systems（CCF C類雜志）
DOI: 10.1142/S0218488525500084
出版時(shí)間：February 6, 2025
1)劉建偉 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
2)鮑忠林 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 研21級(jí)
3)張思思 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 控制科學(xué)與工程 博17級(jí)
摘要:
(i)提出了一種新的遞歸概念元學(xué)習(xí)算法：面向遞歸概念的雙層交替元學(xué)習(xí)方法，用于求解重復(fù)出現(xiàn)的概念；
(ii)通過元學(xué)習(xí)策略引入新的控制器，指導(dǎo)網(wǎng)絡(luò)在先前學(xué)習(xí)的概念和新概念之間保持微妙的平衡；
(iii)我們提出的面向重復(fù)出現(xiàn)的概念的雙層交替元學(xué)習(xí)方法已經(jīng)通過不同基準(zhǔn)數(shù)據(jù)集的實(shí)驗(yàn)比較結(jié)果驗(yàn)證。
背景與動(dòng)機(jī):
人類的學(xué)習(xí)模式具有回憶過去的模式，隨著知識(shí)以及認(rèn)識(shí)的增長(zhǎng)，更新已有的概念。以隨著人類知識(shí)的增長(zhǎng)更好地理解重復(fù)出現(xiàn)的概念的模式。
主要內(nèi)容:
圖1 提出的面向重復(fù)出現(xiàn)的概念的雙層交替元學(xué)習(xí)方法算法的流程圖。它顯示了在第一個(gè)周期中交替模型級(jí)學(xué)習(xí)和全局元學(xué)習(xí)的雙層規(guī)劃學(xué)習(xí)。在第一個(gè)周期中獲得一個(gè)通用模型，以促進(jìn)在第二個(gè)周期中學(xué)習(xí)重復(fù)出現(xiàn)的概念。
圖2 基于自編碼器的輸出融合策略。藍(lán)線表示重建輸入損失的反向傳播流。粉色線條代表第一個(gè)分類器輸出損失的反向傳播流。紫色線表示第二個(gè)分類器輸出損失的反向傳播流。綠線代表最后一個(gè)分類器輸出損失的反向傳播流。
結(jié)論:
在本文中，我們開發(fā)了一個(gè)新的元學(xué)習(xí)框架處理進(jìn)化數(shù)據(jù)流上的重復(fù)出現(xiàn)的概念。在現(xiàn)實(shí)世界的場(chǎng)景中，概念漂移的發(fā)生是無法預(yù)知的。這就是漂移檢測(cè)引入嵌入漂移自適應(yīng)方法的原因。然而，本文主要關(guān)注學(xué)習(xí)一個(gè)通用模型，它可以在不覆蓋現(xiàn)有知識(shí)的情況下，根據(jù)新信息的出現(xiàn)進(jìn)行自我調(diào)整，尤其是對(duì)于反復(fù)出現(xiàn)的概念。
為了實(shí)現(xiàn)這一目標(biāo)，這項(xiàng)研究試圖提出新的模型，其中一個(gè)共有的參數(shù)集用來優(yōu)化所有已知的概念，而不是一個(gè)單一的概念。我們開發(fā)了一個(gè)具有雙層優(yōu)化器的策略，以獲得一個(gè)通用模型來防止災(zāi)難性遺忘。在這種設(shè)計(jì)中，應(yīng)該充分重視模型級(jí)學(xué)習(xí)中不同概念的隱表征的學(xué)習(xí)，這是實(shí)現(xiàn)當(dāng)前概念學(xué)習(xí)良好性能的關(guān)鍵學(xué)習(xí)步驟。在模型級(jí)學(xué)習(xí)之后，我們的進(jìn)化數(shù)據(jù)流上的重復(fù)出現(xiàn)的概念學(xué)習(xí)算法通過全局元學(xué)習(xí)策略獲得一組共享參數(shù)。元學(xué)習(xí)策略引入新的控制器，指導(dǎo)網(wǎng)絡(luò)在先前學(xué)習(xí)的概念和新概念之間保持平衡。我們的實(shí)驗(yàn)驗(yàn)證了進(jìn)化數(shù)據(jù)流上的重復(fù)出現(xiàn)的概念學(xué)習(xí)算法對(duì)進(jìn)化數(shù)據(jù)學(xué)習(xí)的有效性。
作者簡(jiǎn)介:
劉建偉，教師。