中文题目：基于两阶段图注意网络和Q学习的维修任务调度

论文题目：Two-stage Graph Attention Networks and Q-learning Based Maintenance Tasks Scheduling

录用期刊/会议： Applied Intelligence (中科院大类2区)

原文DOI： http://doi.org/10.1007/s10489-025-06249-z

原文链接：http://link.springer.com/article/10.1007/s10489-025-06249-z

录用/见刊时间：2025年1月16日

1）高小永 中国天天色天天（北京）自动化系 教师;

2）彭   雕 中国天天色天天（北京）自动化系 硕21;

3）杨一旭 中国天天色天天（北京）自动化系 硕21;

4）黄付宇 中国天天色天天（北京）自动化系 硕20;

5）袁   宇 中国天天色天天（北京）自动化系 硕22;

6）檀朝东 中国天天色天天（北京）自动化系 教师;

7）李菲菲 山东预见智能科技有限公司.

文章简介:

维修任务调度优化对提高油气开采效率具有重要意义和挑战性。维修任务调度优化是个典型的组合优化问题，当较大规模需要考虑时求解难度很大。为此，本文提出了一种两阶段图注意网络与Q学习相结合的框架（TSGAT+Q-learning）。实验对比结果显示，在大多数情况下，TSGAT+Q-learning优于CPLEX、OR-Tools和其他基于学习的算法。

摘要:

维修任务调度优化对提高油气开采效率具有重要意义和挑战性。传统上，这个问题是使用精确算法、元启发式算法或求解器来解决的。然而，由于这个问题的大规模性质，这些方法在实际使用中经常失败。为了解决这个问题，本文引入了一种组合消息传递神经网络（CMPNN）进行图嵌入，通过对相邻节点的消息进行聚合得到整个图的消息，作为后续框架的输入。在CMPNN的基础上，提出了一种两阶段图注意网络与Q学习相结合的框架（TSGAT+Q-learning）。为了验证所提方法的有效性，提供了不同规模的场景。在大多数情况下，TSGAT+Q-learning优于CPLEX、OR-Tools和其他基于学习的算法。此外，训练后的网络还可以解决不同规模维修任务的问题，这表明TSGAT+Q-learning具有良好的泛化能力。最后，对多约束条件下的现场维修任务调度问题进行了验证。

背景与动机:

维修任务调度存在于各个行业。有效地安排维修任务和分配资源，以最大限度地提高效率和满足客户需求是维修任务调度优化的本质。近年来，深度强化学习（DRL）被引入来解决一些大规模的组合优化问题。受此启发，本文提出了一种新的DRL方法来解决这一问题。

设计与实现:

为了有效地解决维修任务调度问题，本文提出了一种基于图神经网络、注意力机制和强化学习的维修任务调度框架。该框架如图1所示。

图 1 所提出框架的描述

1. 图嵌入

为了解决该框架中计算节点和边缘特征嵌入的问题，引入了组合消息传递神经网络（CMPNN）。CMPNN是消息传递神经网络（MPNN）的改进版本。MPNN的流程由式1和2表示。

为了提高CMPNN的表达能力，引入了全局不变核函数。每次迭代时，CMPNN可表示为式（3）。

在本文中，CMPNN框架中节点嵌入的更新过程表述为式（4）：

2.两阶段图注意网络

智能体嵌入的构造涉及到利用前面描述的图嵌入中的一组节点特征。这个过程可以用下面的数学公式来表示。

为了保证服务技术人员之间有效的信息共享，将全局嵌入和服务站嵌入连接起来形成图形上下文嵌入。此串联过程表示为式（6）：

为了计算将任一维修任务分配给特定服务技术人员的权重，所提出的框架中采用了注意力机制。

服务技术人员与维修任务的兼容性由式（10）计算。

注意权重为的。智能体嵌入在（12）中描述。

在第二阶段，描述了将服务技术员分配给维修任务的策略计算过程。这个过程由公式（13-17）描述。

实验结果及分析:

根据表1所示的结果，可以明显看出所提出的TSGAT+Q学习框架在效率方面优于其他方法。

表 1 比较不同方法在测试数据集上的解的质量

 

图2和3展示了5个服务技术人员和50个维修任务的维修任务调度问题的两个实例的调度结果。类似地，图4和5显示了具有10个服务技术人员和100个维修任务的两个实例的调度结果。结果表明，使用TSGAT+Q学习框架可以成功地为这些案例生成可行的解决方案。

图 2 案例1的维修调度甘特图

 

图 3 案例2的维修调度甘特图

 

图 4 案例3的维修调度甘特图

 

图 5 案例4的维修调度甘特图

结论:

近年来，DRL解决组合优化问题已成为一种流行的方法。受此启发，我们首先将图嵌入技术应用于服务技术人员和维修任务之间的消息传递。所提出的框架利用这种技术在整个图结构中捕获和传播消息。在此基础上，提出了TSGAT算法来解决维修任务的分配和调度问题。通过实验对比验证了该方法的有效性和高效性。

通讯作者简介:

高小永，人工智能学院副院长，教授，博士生导师，石大学者，校青年拔尖人才，自动化专业及控制科学与工程学科建设负责人，担任北京自动化学会常务理事、中国自动化学会过程控制专业委员会委员、中国自动化学会教育工作委员会委员、中国化工学会信息技术应用专业委员会副秘书长、中国系统工程学会过程系统工程专业委员会委员等。研究领域为复杂石油石化工业过程智能制造，主要方向有：机理与数据驱动的故障诊断、复杂工业过程建模与优化控制、工业过程计划与调度优化等。主持国家自然科学基金项目2项、北京市自然科学基金面上项目1项、校企联合项目30多项，发表SCI/EI等各类论文50多篇。

Email：x.gao@cqsbzx.com