科研動(dòng)態(tài)
基于工業(yè)時(shí)間序列數(shù)據(jù)的注意力機(jī)制神經(jīng)網(wǎng)絡(luò)建模與評(píng)估
中文題目：基于工業(yè)時(shí)間序列數(shù)據(jù)的注意力機(jī)制神經(jīng)網(wǎng)絡(luò)建模與評(píng)估
論文題目：Modeling and Evaluation of Attention Mechanism Neural Network Based on Industrial Time Series Data
錄用期刊/會(huì)議：Processes （中科院大類四區(qū)）
原文DOI：10.3390/pr13010184
原文鏈接：https://doi.org/10.3390/pr13010184
錄用/見刊時(shí)間： 2025.01.10
作者列表：
1）周建橋 中國石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 博 21
2）王 珠 中國石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
3）劉佳璇 中國石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 碩20
4）羅雄麟 中國石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
5）陳茂銀 中國石油大學(xué)（北京）人工智能學(xué)院 自動(dòng)化系 教師
摘要:
化工過程控制系統(tǒng)十分復(fù)雜，而為被控對(duì)象建模是自動(dòng)控制和優(yōu)化設(shè)計(jì)的首要任務(wù)。因此，本文提出了一種基于自注意機(jī)制的改進(jìn)Transformer模型，用于工業(yè)過程建模。然后，設(shè)計(jì)了一種基于均方根誤差（RMSE）和KL散度（KLD）指標(biāo)的評(píng)估機(jī)制，以獲得更合適的模型參數(shù)。變分自動(dòng)編碼器（VAE）網(wǎng)絡(luò)用于計(jì)算相關(guān)的KLD。最后，使用所提出的方法對(duì)石化行業(yè)中一個(gè)真實(shí)的非線性動(dòng)態(tài)過程進(jìn)行建模和評(píng)估，以預(yù)測該過程的時(shí)間序列數(shù)據(jù)。此外，還討論了適合預(yù)測的時(shí)域問題。
背景與動(dòng)機(jī):
描述過程動(dòng)態(tài)特性的模型是煉油行業(yè)先進(jìn)控制系統(tǒng)的重要組成部分。模型的質(zhì)量是控制過程是否有效的決定性因素。然而，辨識(shí)通常需要停止工業(yè)生產(chǎn)，并在開環(huán)條件下執(zhí)行。與此同時(shí)，在足夠長的時(shí)間內(nèi)手動(dòng)向過程輸入激勵(lì)信號(hào)，以激發(fā)系統(tǒng)的全部動(dòng)態(tài)特性，并獲得辨識(shí)所需的數(shù)據(jù)。這些問題嚴(yán)重影響了工業(yè)生產(chǎn)，而且難以長期投入使用，對(duì)復(fù)雜多變的運(yùn)行條件也有限制。
設(shè)計(jì)與實(shí)現(xiàn):
結(jié)構(gòu)圖如圖1所示。其中黑色實(shí)心箭頭表示結(jié)構(gòu)矩陣內(nèi)所有組結(jié)構(gòu)參數(shù)的遍歷。通過網(wǎng)絡(luò)訓(xùn)練和預(yù)測，得到每組網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)對(duì)應(yīng)的RMSE，并選擇RMSE較小的前幾組計(jì)算KL散度。KL散度最小的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)組代表最優(yōu)結(jié)構(gòu)參數(shù)。橙色虛線箭頭表示在獲得最佳結(jié)構(gòu)參數(shù)后，使用這些最佳參數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練和預(yù)測，以獲得更精確的最終預(yù)測結(jié)果。
圖1 算法流程圖
主要內(nèi)容:
本文提出了一種改進(jìn)Transformer預(yù)測模型，該模型結(jié)合了工業(yè)時(shí)序I/O設(shè)計(jì)，可用于非線性動(dòng)態(tài)過程預(yù)測場景。該模型與經(jīng)典Transformer模型的主要區(qū)別體現(xiàn)在輸入層和解碼器上，而位置編碼器和編碼器則與經(jīng)典Transformer模型保持一致。輸入層通過對(duì)輸入/輸出(I/O)設(shè)計(jì)的巧妙整合，簡化了傳統(tǒng)的Transformer模型。
為了使改進(jìn)Transformer對(duì)非線性動(dòng)態(tài)過程的預(yù)測效果盡可能好，有必要從結(jié)構(gòu)參數(shù)集中選擇一組最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)。在最優(yōu)結(jié)構(gòu)參數(shù)下，模型的預(yù)測誤差可以相對(duì)最小，預(yù)測曲線與實(shí)際曲線的擬合度可以相對(duì)較高。為了實(shí)現(xiàn)上述目標(biāo)，本文提出了一種去確定神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)最優(yōu)參數(shù)的評(píng)價(jià)機(jī)制。該機(jī)制考慮了兩個(gè)性能評(píng)價(jià)指標(biāo)：RMSE和KL散度。后者是通過變分自動(dòng)編碼（VAE）獲得的。
實(shí)驗(yàn)結(jié)果及分析:
本文以天津大港煉油廠催化裂化分餾系統(tǒng)為例，利用實(shí)際數(shù)據(jù)驗(yàn)證了改進(jìn)Transformer模型對(duì)非線性動(dòng)態(tài)過程的預(yù)測能力。催化裂化分餾系統(tǒng)主要由主分餾塔、塔頂油氣冷凝冷卻系統(tǒng)、柴油汽提塔、循環(huán)油罐、中間循環(huán)回流等部分組成。從反應(yīng)器頂部流出的高溫反應(yīng)油氣混合物進(jìn)入主分餾塔下部的減溫器。經(jīng)過熱交換和洗滌后，催化劑粉末進(jìn)入分餾器本體。該裝置中催化裂化分餾器C2201的部分工藝流程如圖2所示。其主分餾器設(shè)有頂部循環(huán)回流、中部循環(huán)回流、部分精煉回流和油漿循環(huán)回流。
圖2 催化裂化分餾裝置部分工藝流程圖
本文使用所提出的模型和三個(gè)參考模型對(duì)多變量非線性動(dòng)態(tài)過程進(jìn)行了單步預(yù)測。圖3直觀地展示了四種模型在單步預(yù)測情況下的預(yù)測曲線與實(shí)際曲線之間的比較，圖例t代表當(dāng)前時(shí)刻的預(yù)測值。從圖3可以看出，基于改進(jìn)Transformer的預(yù)測值能夠很好地?cái)M合實(shí)際值的變化趨勢(shì)，建模精度較高。
圖3 不同模型的預(yù)測曲線與實(shí)際曲線的比較。(a) RNN；(b) GRU；(c) Transformer；(d) 改進(jìn)Transformer。
表1展示了不同預(yù)測時(shí)域下改進(jìn)Transformer的性能指標(biāo)。同時(shí)可以看出，隨著預(yù)測步長的增加，本模型的預(yù)測效果越來越差，預(yù)測精度越來越低。預(yù)測步長越長，預(yù)測未來相應(yīng)時(shí)刻的難度越大。
表1 不同預(yù)測時(shí)域下改進(jìn)型Transformer的性能比較
結(jié)論:
本文介紹了一種使用Transformer-VAE進(jìn)行建模、評(píng)估和預(yù)測的綜合方法。研究對(duì)象是一個(gè)工業(yè)催化裂化分餾系統(tǒng)。對(duì)比實(shí)驗(yàn)和分析表明，所提出的評(píng)估系統(tǒng)能夠確定最佳網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)。此外，集成了工業(yè)時(shí)序I/O設(shè)計(jì)的Transformer模型顯示出更高的預(yù)測精度，同時(shí)通過混合網(wǎng)絡(luò)對(duì)預(yù)測時(shí)域進(jìn)行了研究，以確定最佳預(yù)測時(shí)域范圍。改進(jìn)的Transformer模型集成了工業(yè)時(shí)間序列輸入/輸出，提供了寶貴的參考價(jià)值為基于多變量時(shí)間序列數(shù)據(jù)的工業(yè)預(yù)警和其他應(yīng)用提供了寶貴的參考點(diǎn)。
通訊作者簡介:
王珠，博士，中共黨員，現(xiàn)任中國石油大學(xué)（北京）副教授、碩士生導(dǎo)師。2016年至今在中國石油大學(xué)（北京）自動(dòng)化系工作，現(xiàn)任中國自動(dòng)化學(xué)會(huì)人工智能技術(shù)與工業(yè)應(yīng)用專業(yè)委員會(huì)委員、中國化工學(xué)會(huì)信息技術(shù)應(yīng)用專業(yè)委員會(huì)青年委員、北京人工智能學(xué)會(huì)理事。
在科研與社會(huì)服務(wù)方面，研究興趣為系統(tǒng)辨識(shí)與智能控制、煉化過程動(dòng)態(tài)異常診斷與故障預(yù)警、大數(shù)據(jù)質(zhì)量預(yù)測與綜合優(yōu)化。近年來，主持重點(diǎn)流程工業(yè)企業(yè)的高級(jí)智能報(bào)警項(xiàng)目數(shù)項(xiàng)以及國家自然科學(xué)基金項(xiàng)目，已發(fā)表高水平學(xué)術(shù)論文30余篇。