中文题目：基于高质量和高相关性潜在特征的高效对比学习的长尾分类

论文题目：Long-Tailed Classification by Efficient Contrast Learning with High Quality and High Relevance Latent Features

录用期刊：Applied Intelligence（中科院大类二区）

录用时间：2025.01.04

作者列表：

1)袁鸿力 中国天天色天天（北京）人工智能学院 控制科学与工程 硕22级

2)刘建伟 中国天天色天天（北京）人工智能学院 自动化系 教师

摘要:

本文提出了一种更加高效的对比学习方法，并结合特征之间的关系图，使得模型能够提取更加鲁棒的表示。对于表示学习任务，我们采用类原型来构建长尾场景下的高斯混合模型，以减少计算和内存上的开销。并且我们利用高质量的特征关系图建模特征之间的关系，使得提取的特征能够考虑到相似的语义特征。

背景与动机:

长尾分布存在数据稀缺性和显著的类不平衡问题，导致模型对头部类的预测倾向增加，对尾部类的预测性能降低。传统的长尾对比学习方法可以缓解尾部类的信息缺失问题。然而，这存在两个问题:(1)利用更加准确的高斯混合模型建模长尾分布需要利用非常大的记忆池，这增加了计算和存储的开销.(2)传统方法通常只考虑了样例层面和类层面的对比，忽视了样本关系层面的信息。

针对问题(1)，我们提出了基于类原型和批次特征来构建长尾高斯混合模型的方法。能够更加高效的进行特征学习。针对问题(2)，我们利用图结构来建模特征之间的语义关系，使得特征空间中，语义相似的特征也能相互靠近。在三个基准数据集的大量实验证实了我们提出的模型的有效性。

主要内容:

1.基于批次特征和类原型的长尾高斯混合模型建模

表示高斯混合模型下特征通过分类器输出后的似然函数。

2.基于高质量和高相关KNN图的对比学习方法

图1：基于高质量和高相关KNN图的图卷积映射头

图1能够准确地表示多个相关对象之间的关系。KNN图相比一般的全连接图可以更好的过滤噪声信息，并且针对高维数据和大批次数据有很好的可扩展性。因此，利用KNN图结很好的建模长尾批样例之间的关系。

首先根据分类正确样例的集合。

然后通过设定阈值确定KNN的topK值：

然后构建邻接矩阵:

利用图卷积映射头提取包含语义关系的特征表示：

最后进行对比学习：

实验结果与分析:

我们在三个广泛使用的长尾数据集上评估了我们提出模型的性能：CIFAR10-LT， CIFAR100-LT和ImageNet-LT。

部分实验结果如表所示，我们在各个数据集上，展现了出色的竞争力：

表1 对不同不平衡因素下CIFAR10/100-LTtop-1测试精度（%）进行基准测试

表2 对ImageNet-LT数据集进行基准测试

结论:

本文提出了一种基于批特征表示和类原型（CGM-BF-CP）的条件高斯混合模型对比学习算法。该方法对数据分布进行了更精确的建模，并引入了特征空间补偿，缓解了批量长尾分布的问题。此外，我们还从理论上推导了CGM-BF-CP的误差界。此外，我们还提出了一个特征融合模块，该模块使用logits向量构造KNN图，并使用图卷积提取融合特征。该模块可以将头部类的信息传递到尾部类的信息，有利于学习尾部类的表示。最后，我们在三个常用的长尾数据集上做了很多实验。

作者简介:

刘建伟，教师，学者。发表学术研究论文280多篇。研究领域涉及在线学习（包括强化学习，赌博机算法，持续学习，长尾学习）；图像视频显著性目标检测，解纠缠表示学习，光场和神经场模型，以及图像视频少样本变化检测；自然语言理解中的知识补全，图神经网络；不平衡数据处理；霍克斯点过程故障预测与诊断；非线性预测与控制。 是兵器装备工程学报第三届编辑委员会委员。历届中国控制会议(CCC)和中国控制与决策会议(CCDC)的程序委员会委员。担任过80多个国际会议的TPC。