近期，我校计算机科学与技术学院李祖贺副教授团队在国际知名期刊《Information Fusion》（中科院一区TOP期刊，IF=18.6）上发表了题为“Multi-level correlation mining framework with self-supervised label generation for multimodal sentiment analysis”（用于多模态情感分析的自监督标签生成的多层次关联挖掘框架）的研究论文。

多模态情感分析旨在从文本、音频和视觉等多模态数据中挖掘用户情感信息，现有大多数方法忽略了模态之间的隐藏关系，未能最大限度地利用它们的潜在相关性，也未充分利用资源丰富的模态知识来帮助资源匮乏的模态。为了应对这些挑战，李祖贺副教授团队提出了一种基于多层次关联挖掘和自监督多任务学习的多模态情感分析方法。首先，为了克服多模态信息融合的困难，使用一种基于模态特征融合和语言学引导的Transformer框架来挖掘模态之间的相关性信息。其次，将多模态情感分析任务分为一个多模态任务和三个单模态任务，并设计了一个自监督标签生成模块（SLGM）来生成单模态任务的情感标签，为其他研究人员提供了新颖思路。

该论文是以郑州轻工业大学为第一署名单位完成，李祖贺为第一作者，硕士研究生郭青冰为第二作者。

《Information Fusion》创刊于2000年，是一本由ELSEVIER出版的理论方法学术刊物，该刊是国际一流期刊，发文范围涵盖计算机人工智能等领域。此刊已入选SCI、SCIE来源期刊，是中科院分区1区TOP期刊，2023年影响因子18.6。

此项研究成果得到了国家自然科学基金和河南省科技攻关项目的资助。

论文连接：

https://www.sciencedirect.com/science/article/abs/pii/S1566253523002075

引用格式：Li Z, Guo Q, Pan Y, et al., Multi-level correlation mining framework with self-supervised label generation for multimodal sentiment analysis, Information Fusion, 2023, 99:101891.

第一作者：李祖贺

郑州轻工业大学计算机科学与技术学院副教授，硕士生导师，河南省高层次人才国际化培养对象，河南省科协评审咨询专家，郑州市科技评审专家，河南中烟科技评审专家。近年来一直致力于多模态人工智能相关研究，主持国家自然科学基金项目1项、河南省自然科学基金重点项目1项、河南省科技攻关项目3项、河南省高层次人才国际化培养项目1项，作为骨干参与国家自然科学基金项目2项、中国工程院重点咨询课题1项、河南省科技攻关项目4项、嵩山实验室预研项目1项。在多模态情感分析、视频智能分析和工业视觉智能方面取得丰硕成果，在Information Fusion等领域高水平学术期刊和会议发表论文30余篇，出版学术专著和规划教材5部，获授权发明专利10余项，实用新型专利20余项，软件著作权10余项，获河南省科技进步二等奖2项、河南省教育厅科技成果一等奖1项，作为骨干申报和建设河南省食品安全数据智能重点实验室和河南省网络工程与数据智能中试基地等多个省级学科平台。