中文题目：动态变化环境下专家场景迁移学习率的自适应权重更新

论文题目：The adaptive weight updating of learning rate for migrating expert scenarios on dynamic and changing environments

录用期刊/会议：CCC2025 （CAA A类会议）

录用时间：2025.1.2

作者列表：

1)宋宇 中国天天色天天（北京）人工智能学院 自动化系 教师

2)周佳佳 中国天天色天天（北京）人工智能学院 控制科学与工程 研18级

3)代思怡 中国天天色天天（北京）人工智能学院 控制科学与工程 研23级

4)刘建伟 中国天天色天天（北京）人工智能学院 自动化系 教师

摘要:

首先，我们选择相对熵损失函数作为自适应权值动态更新工具，用于获取迁移专家学习场景的后悔上界。 其次，参考在线触发器算法的讨论，推导了如何自适应地动态调整学习速率。我们也得到了学习率的上界。 最后将学习率的上界转化为后悔函数的上界，讨论了如何在后悔函数上得到一个更小的上界，实现超参数的自适应调整。 

主要内容:

定理:假定, , 比较序列具有k次迁移: 权值更新算法具有下列后悔上界:

这里,

结论:

本文讨论了迁移专家场景中学习速率的优化和调整对学习效果的影响。迁移专家场景在不同的学习阶段有不同的模型，所以我们首先使用混合权重更新公式来讨论在线学习中的迁移学习场景，通过混合不同时刻之前的权重，可以在很大程度上减少迁移带来的损失，从而得到一个新的误差上界。混合权重更新公式可以解决稀疏复杂模型的问题，该方法对许多真实数据集非常有效。同时，考虑到在迁移场景中，很难自始至终给出一个最优的学习速率，在线触发器算法可以获得更好的学习效果。我们讨论了使用损失函数和近似损失函数之间的差来设定学习率的切换条件，这样可以得到更小的误差损失。

作者简介:

刘建伟，教师。