牛建伟-蔚来座舱多模态大模型的应用实践

蔚来座舱多模态大模型的应用实践演讲人：牛建伟蔚来文字建议为保证文件兼容性，如无特殊情况，请勿使用其他艺术字体字体正文字号：12通常演示文稿业务汇报文件中的文本较多，12号的字体可以展现更多的内容；且演示文稿的使用场景为桌面端、受众年龄适中，为呈现更好的阅读体验，正文应慎重使用更大字号小标题：18字号标题字号：28使用专有的英文字体可以使版面更加美观，可以让强调的英文&数字细节显示更优美，经得起放大细看考虑到工作效率，非重要的文件无需考虑此项，而对文本中的英文数字单独设置字体。中文字体：微软雅黑英文&数字字体Arial善用格式刷，快速出效果TIPS：* 可以多使用8为尾数的字号，如：18、28、48、68，方便记忆，统一字号0102030405目录蔚来多模态大模型的价值定位多模态大模型整体方案视觉模态模型技术实践听觉模态模型的技术实践端侧部署方案MLLM在蔚来座舱中的定位多模态大模型是智能座舱3.0的底层核心技术之一，也是蔚来智能座舱塑造差异化的重要方向201520202025V1.0网联化V2.0科技化V3.0智能化①小屏-GUI交互②多媒体内容触达③基础语音交互上车①大屏多屏交互②完善的语音交互系统③基础舱内视觉感知能力上车OMS/DMS/手势/守卫模式① AR-HUD +后排屏成标配②基于MLLM的自然人机交互③联通车内外的多模态感知能力MLLM在蔚来座舱中的定位多模态大模型是支撑主动安全、主动个性化交互以及智能数字空间等体系功能的核心深度整合语音、视觉、车身信息，为用户提供更主动和个性化的交互方式，实现贴心自然的交互体验 自然主动交互NoMi基于多模态大模型将多Sensor感知融合，打造集高可靠性和高用户体验的主动安全功能结合用户多维信息和舱内3D空间全感知能力，基于多模态大模型围绕场景感知和决策，构建有关怀的智能座舱空间主动安全保障智能数字空间懂我伴侣DMS/OMS/守卫多模态大模型蔚来MLLM的技术路径根据团队的技术现状和资源，我们采用了视觉大模型和语音多语言大模型各自推进，最终实现音视觉完全融合的技术路径。从业务角度出发，侧重于车端本地多模态大模型的技术方向，以满足响应速度、复杂路况、用户隐私保护等多方面要求。蔚来MLLM的功能展示赋予语音助手NOMI感知车舱内外的眼睛，让NOMI看得见、认得出、有记忆、会推理将哨兵模式记录的各种视频事件总结，