多模态情感识别的原理方法与典型应用

多模态情感识别的原理、方法与典型应用汇报人：赵思成2023年6月YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP20242汇报提纲多模态学习-研究历程与典型工作多模态情感识别-研究背景与基本原理课题组相关进展-综述、单模态、多模态情感识别典型应用-舆情分析、商业智能、医疗健康、个人娱乐等未来研究方向-大模型时代的多模态情感识别等YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP20243汇报提纲多模态学习-研究历程与典型工作多模态情感识别-研究背景与基本原理课题组相关进展-综述、单模态、多模态情感识别典型应用-舆情分析、商业智能、医疗健康、个人娱乐等未来研究方向-大模型时代的多模态情感识别等YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP20244问题定义人类通过多种通道感知世界视、听、触、嗅、味模态（Modality）事物发生或被感知的途径多模态（Multimodal）涉及多种模态的研究问题（异质、互通）Interacting: process affecting each modality, creating new responseYSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP20245问题定义多模态（机器）学习（Multimodal(machine)learning）构建模型使其可以处理多种模态的信息以及信息间的联系*文本、语音、视觉等研究边界正在模糊和弱化YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP20246代表性应用跨模态检索多模态情感识别Alittlegirlsittingonabedwithateddybear.视觉+语言：图像描述生成视觉+语言：视觉问答视觉+语言：指定视觉定位Agroupofpeoplesittingonaboatinthewater.Multimodal SentimentAnalysis Challenge and WorkshopYSSNLP2024YSSNLP