LSTM多維時序建模中隱藏層激活的降維可視分析對比研究
中文題目：LSTM多維時序建模中隱藏層激活的降維可視分析對比研究
論文題目：Comparing dimensionality reduction techniques for visual analysis of the LSTM hidden activity on multi-dimensional time-series modeling
錄用期刊：The Visual Computer （JCR Q2）
作者列表：
1） 紀(jì)連恩 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計算機(jī)系教師
2） 邱詩榮 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計算機(jī)科學(xué)與技術(shù) 碩 21
3） 徐 智 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計算機(jī)科學(xué)與技術(shù) 碩 23
4） 劉 月 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計算機(jī)科學(xué)與技術(shù) 碩 20
5） 楊 光 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院/人工智能學(xué)院 計算機(jī)科學(xué)與技術(shù) 碩 22
長短期記憶網(wǎng)絡(luò)(LSTM)已被廣泛應(yīng)用于包括各類工業(yè)控制領(lǐng)域在內(nèi)的多維時序數(shù)據(jù)建模中，而可視分析方法（VAST）在提高其可解釋性方面發(fā)揮著重要作用。為了理解模型隱藏層中的高維激活模式，降維技術(shù)（DR）的應(yīng)用必不可少。然而，DR的多樣性極大地增加了選擇的難度。本文針對DR在LSTM隱藏層激活可視分析中的適用性問題，選取了四種具有代表性的DR技術(shù)作為比較對象，包括PCA、MDS、t-SNE和UMAP。原始的連續(xù)型建模數(shù)據(jù)和符號化處理后的離散型數(shù)據(jù)作為模型學(xué)習(xí)的知識，可將它們與LSTM隱藏層的激活行為相關(guān)聯(lián)，從而比較不同DR技術(shù)保持和抽取隱藏層激活信息的能力。根據(jù)LSTM模型結(jié)構(gòu)和數(shù)據(jù)特點，分別設(shè)計了在降維質(zhì)量評估、高低隱藏層間抽象表征、模型與輸出變量間關(guān)聯(lián)分析、輸入特征重要性分析和隱藏層時序規(guī)律探索等五個典型任務(wù)中的對照實驗。通過對實驗結(jié)果的定性和定量分析，總結(jié)了不同DR技術(shù)的適用性，提煉了LSTM多維時序建模場景下對隱藏層激活狀態(tài)進(jìn)行降維可視分析的系統(tǒng)性指導(dǎo)原則。
深度模型具有工作機(jī)理復(fù)雜、可解釋性差的問題，LSTM也不例外?？梢暦治鲈诟纳粕疃饶Ｐ涂山忉屝苑矫姘l(fā)揮了重要作用，而隱藏層激活狀態(tài)作為模型的內(nèi)部表現(xiàn)，是模型可視分析的主要研究對象。但高維的隱藏層激活值難以被直接可視化映射，近年來，人們通過DR提取隱藏層的激活值特征，在低維空間展示模型內(nèi)部行為以利于人的理解和分析。然而，在對LSTM進(jìn)行多維時序預(yù)測的可視分析中，DR的應(yīng)用面臨著諸多挑戰(zhàn)。一方面，DR的多樣性極大地增加了選擇的難度，且DR是一個無監(jiān)督的過程，在實際應(yīng)用中很容易被誤用；另一方面，不同的DR會產(chǎn)生不同的模式特征，DR的有效性評估分析任務(wù)的特點緊密相關(guān)。
本文根據(jù)DR特點和應(yīng)用現(xiàn)狀，選擇了PCA、MDS、t-SNE和UMAP四種代表性技術(shù)作為比較對象。此外，還提煉出了多維時間序列建模應(yīng)用中LSTM隱藏層激活可視分析的五個主要任務(wù)，分別為T1：降維質(zhì)量評估，T2：高低隱藏層間的抽象表征，T3：模型與輸出變量的關(guān)聯(lián)分析，T4：輸入特征的重要性分析，T5：隱藏層的時序規(guī)律探索。
為了能夠全面有效地將降維結(jié)果進(jìn)行可視化，本文設(shè)計了空間投影和時序投影兩種視圖。分析人員可根據(jù)不同的分析任務(wù)選取不同分段下隱藏層激活狀態(tài)，將其輸入到DR中，然后再將二維空間下的投影結(jié)果映射到相應(yīng)視圖中進(jìn)行探索和分析。
圖1 投影視圖
面向五種典型LSTM可視分析任務(wù)場景，文中通過多組對照實驗定性和定量比較了四種DR技術(shù)的表現(xiàn)性能和效果。
圖2 降維質(zhì)量評估（T1）
圖3 模型的隱藏層與輸出變量之間的關(guān)聯(lián)在訓(xùn)練過程中發(fā)生變化（T2,T3）
表1 多維模型輸入特征重要性保持能力評估結(jié)果（T4）
圖4 某樣本在不同DR下的時序投影結(jié)果（T5）
基于上述實驗結(jié)果，本文提煉了在LSTM隱藏層可視分析任務(wù)中選擇DR時必須考慮的幾個重要因素，包括任務(wù)的關(guān)聯(lián)對象、分析視角以及模式探索需求，并對它們適用的DR技術(shù)進(jìn)行了總結(jié)，如表2所示。
表2 可視分析任務(wù)的特征及其適用的降維技術(shù)
本文通過選擇四種具有代表性的DR技術(shù)進(jìn)行對比研究，提煉了DR應(yīng)用于多維時間序列建模的五種LSTM可視化分析任務(wù)，并進(jìn)行了相應(yīng)的案例實驗研究。最后，根據(jù)任務(wù)的關(guān)聯(lián)對象和分析視角，總結(jié)了不同類型任務(wù)對DR的關(guān)鍵特征要求，為研究人員在可視化地分析LSTM隱藏層激活狀態(tài)時選用最有效的DR技術(shù)提供了系統(tǒng)性指導(dǎo)原則。
紀(jì)連恩，博士，副教授，研究生導(dǎo)師。主要研究領(lǐng)域為大數(shù)據(jù)可視化與智能分析、可解釋機(jī)器學(xué)習(xí)及工業(yè)領(lǐng)域應(yīng)用、虛擬現(xiàn)實與計算機(jī)仿真、計算機(jī)圖形學(xué)與人機(jī)交互技術(shù)等。主持和參與了國家自然科學(xué)基金、國家科技重大專項和重點企業(yè)合作項目多項?，F(xiàn)為中國計算機(jī)學(xué)會（CCF）人機(jī)交互專委會委員、中國圖象圖形學(xué)學(xué)會（CSIG）可視分析專委會委員以及虛擬現(xiàn)實專委會委員。
聯(lián)系方式：jilianen@cup.edu.cn