近日，我院2023级硕士研究生杜文龙在人工智能领域顶级期刊连续发表两篇关于组合零样本学习的原创性研究成果。两篇论文分别为“Superpixel-based Visual Feature Enhancement for Compositional Zero-Shot Learning”，发表于Information Processing and Management（IPM，中科院一区Top期刊，影响因子6.9）；和“A novel compositional zero-shot learning approach based on hierarchical multi-scale feature fusion”，发表于Engineering Applications of Artificial Intelligence（EAAI，中科院一区Top期刊，影响因子8.0）。两篇论文皆为杜文龙第一作者，我院徐晓峰副教授为通讯作者，安徽工程大学为论文第一署名单位。
针对人工智能研究中组合零样本学习任务面临的属性与物体特征解纠缠不充分、细粒度视觉细节捕捉不足、局部与全局信息融合失衡等问题，作者提出了一种基于超像素的视觉特征增强模型。该模型将超像素分割技术系统性地引入组合零样本学习框架，设计傅里叶频谱层将特征转换到频域，并通过长程融合模块对局部超像素特征与全局频域特征进行深度融合，从而大幅提升模型对复杂组合关系的判别能力。
图1基于超像素的视觉特征增强模型整体架构
为进一步突破细粒度特征提取的技术瓶颈，作者持续深化探索，提出了一种基于分层多尺度特征融合的组合零样本学习模型。该模型设计补丁感知特征选择模块，通过标签引导的可学习权重向量精准聚焦颜色、纹理等属性相关的细粒度视觉线索；构建分层多尺度特征融合框架，捕捉属性的全局空间依赖与物体的局部结构特征，实现属性与物体特征的深度解纠缠以及局部细节与全局上下文的协同融合，从而大幅提升模型的泛化能力。
图2基于分层多尺度特征融合的组合零样本学习模型整体架构
上述系列研究成果系统地解决了组合零样本学习中特征解纠缠与多尺度信息融合等问题，为构建具有概念组合能力的通用视觉感知系统提供了新的理论基础和技术方案。目前，研究团队正致力于将相关技术拓展到多模态组合推理、开放世界目标检测、工业缺陷智能检测等更具挑战性的领域，力争取得更多具有国际影响力的原创性成果。
论文原文链接：
[1] https://www.sciencedirect.com/science/article/pii/S0306457325003553
[2] https://www.sciencedirect.com/science/article/pii/S0952197625016355