中文题目：基于工业时间序列数据的注意力机制神经网络建模与评估

论文题目：Modeling and Evaluation of Attention Mechanism Neural Network Based on Industrial Time Series Data

录用期刊/会议：Processes （中科院大类四区）

原文DOI：10.3390/pr13010184

原文链接：http://doi.org/10.3390/pr13010184

录用/见刊时间： 2025.01.10

作者列表：

1）周建桥 中国天天色天天（北京）人工智能学院 自动化系 博 21

2）王   珠 中国天天色天天（北京）人工智能学院 自动化系 教师

3）刘佳璇 中国天天色天天（北京）人工智能学院 自动化系 硕20

4）罗雄麟 中国天天色天天（北京）人工智能学院 自动化系 教师

5）陈茂银 中国天天色天天（北京）人工智能学院 自动化系 教师

摘要:

化工过程控制系统十分复杂，而为被控对象建模是自动控制和优化设计的首要任务。因此，本文提出了一种基于自注意机制的改进Transformer模型，用于工业过程建模。然后，设计了一种基于均方根误差（RMSE）和KL散度（KLD）指标的评估机制，以获得更合适的模型参数。变分自动编码器（VAE）网络用于计算相关的KLD。最后，使用所提出的方法对石化行业中一个真实的非线性动态过程进行建模和评估，以预测该过程的时间序列数据。此外，还讨论了适合预测的时域问题。

背景与动机:

描述过程动态特性的模型是炼油行业先进控制系统的重要组成部分。模型的质量是控制过程是否有效的决定性因素。然而，辨识通常需要停止工业生产，并在开环条件下执行。与此同时，在足够长的时间内手动向过程输入激励信号，以激发系统的全部动态特性，并获得辨识所需的数据。这些问题严重影响了工业生产，而且难以长期投入使用，对复杂多变的运行条件也有限制。

设计与实现:

结构图如图1所示。其中黑色实心箭头表示结构矩阵内所有组结构参数的遍历。通过网络训练和预测，得到每组网络结构参数对应的RMSE，并选择RMSE较小的前几组计算KL散度。KL散度最小的网络结构参数组代表最优结构参数。橙色虚线箭头表示在获得最佳结构参数后，使用这些最佳参数对网络进行重新训练和预测，以获得更精确的最终预测结果。

 

图1 算法流程图

主要内容:

本文提出了一种改进Transformer预测模型，该模型结合了工业时序I/O设计，可用于非线性动态过程预测场景。该模型与经典Transformer模型的主要区别体现在输入层和解码器上，而位置编码器和编码器则与经典Transformer模型保持一致。输入层通过对输入/输出(I/O)设计的巧妙整合，简化了传统的Transformer模型。

为了使改进Transformer对非线性动态过程的预测效果尽可能好，有必要从结构参数集中选择一组最优网络结构参数。在最优结构参数下，模型的预测误差可以相对最小，预测曲线与实际曲线的拟合度可以相对较高。为了实现上述目标，本文提出了一种去确定神经网络结构最优参数的评价机制。该机制考虑了两个性能评价指标：RMSE和KL散度。后者是通过变分自动编码（VAE）获得的。

实验结果及分析:

本文以天津大港炼油厂催化裂化分馏系统为例，利用实际数据验证了改进Transformer模型对非线性动态过程的预测能力。催化裂化分馏系统主要由主分馏塔、塔顶油气冷凝冷却系统、柴油汽提塔、循环油罐、中间循环回流等部分组成。从反应器顶部流出的高温反应油气混合物进入主分馏塔下部的减温器。经过热交换和洗涤后，催化剂粉末进入分馏器本体。该装置中催化裂化分馏器C2201的部分工艺流程如图2所示。其主分馏器设有顶部循环回流、中部循环回流、部分精炼回流和油浆循环回流。

 

图2 催化裂化分馏装置部分工艺流程图

本文使用所提出的模型和三个参考模型对多变量非线性动态过程进行了单步预测。图3直观地展示了四种模型在单步预测情况下的预测曲线与实际曲线之间的比较，图例t代表当前时刻的预测值。从图3可以看出，基于改进Transformer的预测值能够很好地拟合实际值的变化趋势，建模精度较高。

图3 不同模型的预测曲线与实际曲线的比较。(a) RNN；(b) GRU；(c) Transformer；(d) 改进Transformer。

表1展示了不同预测时域下改进Transformer的性能指标。同时可以看出，随着预测步长的增加，本模型的预测效果越来越差，预测精度越来越低。预测步长越长，预测未来相应时刻的难度越大。

表1 不同预测时域下改进型Transformer的性能比较

 

结论:

本文介绍了一种使用Transformer-VAE进行建模、评估和预测的综合方法。研究对象是一个工业催化裂化分馏系统。对比实验和分析表明，所提出的评估系统能够确定最佳网络结构参数。此外，集成了工业时序I/O设计的Transformer模型显示出更高的预测精度，同时通过混合网络对预测时域进行了研究，以确定最佳预测时域范围。改进的Transformer模型集成了工业时间序列输入/输出，提供了宝贵的参考价值为基于多变量时间序列数据的工业预警和其他应用提供了宝贵的参考点。

通讯作者简介:

王珠，博士，中共党员，现任中国天天色天天（北京）副教授、硕士生导师。2016年至今在中国天天色天天（北京）自动化系工作，现任中国自动化学会人工智能技术与工业应用专业委员会委员、中国化工学会信息技术应用专业委员会青年委员、北京人工智能学会理事。

在科研与社会服务方面，研究兴趣为系统辨识与智能控制、炼化过程动态异常诊断与故障预警、大数据质量预测与综合优化。近年来，主持重点流程工业企业的高级智能报警项目数项以及国家自然科学基金项目，已发表高水平学术论文30余篇。