時間注意力進化圖卷積網絡
中文題目：時間注意力進化圖卷積網絡
論文題目：Temporal Attention Evolutional Graph Convolutional Network
錄用會議：2023 IEEE International Conference on Technology Management, Operations and Decisions (EI)
作者列表：
1）趙新龍 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機科學與技術系 本科19
2）張麗英 中國石油大學（北京）信息科學與工程學院/人工智能學院 軟件工程系
3）張 巖 中國石油大學（北京）信息科學與工程學院/人工智能學院 軟件工程系
文章簡介:
時間注意力進化圖卷積網絡（TAEGCN）模型結合了因果時間卷積和多頭自注意力機制，有效地學習節(jié)點的時間特征，并利用這些時間特征來構建圖結構，能夠準確地捕捉數(shù)據(jù)中隱藏的空間依賴性和時間因果關系，實現(xiàn)多元時間序列更優(yōu)預測。在兩個公共數(shù)據(jù)集的實驗結果顯示，TAEGCN在其在多元時間序列預測領域的應用潛力和優(yōu)越性能。
多元時間序列預測通過歷史數(shù)據(jù)預測未來狀態(tài)來輔助決策。每個數(shù)據(jù)節(jié)點為多維度的序列且不同節(jié)點的數(shù)據(jù)之間相互影響，可表示為圖結構。現(xiàn)有方法假設圖結構是靜態(tài)的，但現(xiàn)實中許多圖結構是動態(tài)的。為此提出了TAEGCN模型，結合因果時間卷積和多頭自注意力機制來學習節(jié)點的時間特征和圖結構，更好捕獲數(shù)據(jù)中隱藏的空間依賴性和時間因果關系，實現(xiàn)高性能的端到端預測。在兩個公共數(shù)據(jù)集上的實驗結果表明了該模型的優(yōu)越性能。
背景與動機:
多元時間序列預測是通過歷史數(shù)據(jù)來預測觀測點未來的趨勢變化，輔助決策的制定，因此建立高效且精準的多元時間序列預測模型一直是重要研究課題之一。
實際問題場景中不同觀測點之間并不是孤立存在的，它們之間存在著空間結構關系且相互影響，作用于觀測點的多變量的趨勢變化，且通過空間結構的相互影響會隨著時間而動態(tài)發(fā)生變化。為解決時間特征輸入輸出長度的一致性問題，和節(jié)點間的圖結構隨時間變化的問題，本文構建了一種新的捕獲數(shù)據(jù)中隱藏的空間依賴性和時間因果關系的TAEGCN模型。
TAEGCN模型由若干個時空層，一個輸出層和一個全連接層構成，每個時空層包括因果時間多頭自注意力模塊CTMSA，可進化圖學習器EGL和圖卷積神經網絡GCN, 如圖1所示。
圖1 TAEGCN架構圖
CTMSA模塊是基于多頭自注意力機制提出的膨脹時間卷積模型，如圖2所示。它由兩個殘差神經網絡構成，并結合多頭自注意力機制和LayerNorm歸一化方法。保證多步預測的同時兼顧長短步長的時間特征和有序獲得時間特征。
圖2 CTMSA模型
EGL是一種進化的圖結構學習器，如圖3所示。它以遞歸方式構造一系列鄰接矩陣，提取變量之間的動態(tài)相關性，實現(xiàn)更精確地捕獲數(shù)據(jù)中隱藏的空間依賴確立更準確的圖結構。
圖3 EGL結構圖
TAEGCN創(chuàng)造性地結合了時間維度和空間維度的特征，通過CTMSA和EGL模塊，有效提取時間維度和空間維度的特征。
選用兩個公共數(shù)據(jù)集進行試驗，基準模型選取了五個模型，實驗結果如表1所示。
表1 性能對比表
為進一步測試TAEGCN的預測性能，從METR-LA數(shù)據(jù)集的207個監(jiān)測點中隨機抽樣選擇了四個在Graph-WaveNet和TAEGCN的預測結果與真實值之間的比較，將時間序列預測值可視化。圖4（a）是Graph-WaveNet的時間序列預測結果，圖5（b）是TAEGCN的結果。
圖4 Graph-WaveNet和TAEGCN的預測結果對比圖
為了驗證關鍵部件的有效性，對METR-LA數(shù)據(jù)集的預測在30分鐘和60分鐘時間長度上進行了消融研究。實驗結果如表2所示。
表2 消融實驗結果表
論文提出了一種新的多元時間序列預測模型TAEGCN，其中的可進化圖學習器（EGL）能根據(jù)該時間段的節(jié)點依賴關系來學習不同時間段的圖結構，TMSA學習不同元的時間序列特征。對真實世界數(shù)據(jù)集的實驗證明了 TAEGCN 相對于基線模型的優(yōu)越性。消融實驗則進一步證明了模型各部分對預測性能的貢獻。
張麗英，講師，中國石油大學（北京）信息科學與工程學院/人工智能學院碩士導師。主要研究方向：機器學習、時空數(shù)據(jù)挖掘。主持并參與國家自然基金、校級基金和校外開放基金、中石油勘探開發(fā)課題10多項。發(fā)表論文7余篇，其中被SCI、EI檢索4篇。教學工作主持教育部產學合作協(xié)同育人項目、校級核心課程/重點教改項目等10多項，出版教材兩部。
聯(lián)系方式：lyzhang1980@cup.edu.cn