云赋能智能硬件开发者“看、听、说”的最佳实践

AI大模型时代，腾讯云带给智能硬件开发者“看、听、说”最佳实践龙一民丨腾讯云音视频物联网总经理大模型时代的智能硬件产品趋势智能硬件产品趋势腾讯云定义多模态大模型时代 “看、听、说”智能硬件I/O 标准化让我看听我说跟我说用我搜让我管记住人看书看题看环境多语支持本地语言东南亚日韩德法意葡西低延时智能打断方言支持网络搜索位置搜索管理音频管理视频管理文档生成图片生成音乐生成视频生成文档麦克风摄像头记忆能力近场通信语音交互定向拾音看听增强拍照录像直播第一视角感知人感知位置感知环境感知情绪交换名片碰一碰加好友支付通行腾讯云平台对于智能硬件开发者的开放能力智能硬件开发者的开放能力微信会议场景语音交互视频直播近场通信社交关系会议摘要声纹区分多语言支持微信通话拍照分享视频号直播语音AIAgent低延时全球接入画质超分实时字幕多语翻译电商直播互动运动直播互动腾讯音乐语音读书语音消息文字消息交换名片离近加好友社交名片家庭群家长学生学生之间硬件微聊智能设备与微信原生音视频通话◆设备一键呼叫，微信持续响铃提醒◆保有与微信原生音视频通话一致的触达率和流畅通话体验高触达率的微信原生音视频通话◆支持RTOS/Linux，随操作系统支持快启动，低功耗，资源占用低 编码、解码，无压力全线适配视频、音频芯片，资源占用低智能设备与微信原生音视频通话◆设备一键呼叫，微信持续响铃提醒◆保有与微信原生音视频通话一致的触达率和流畅通话体验高触达率的微信原生音视频通话◆支持RTOS/Linux，随操作系统支持快启动，低功耗，资源占用低 编码、解码，无压力全线适配视频、音频芯片，资源占用低TWeTalk多模态对话：跟我说、听我说、让我看、微信通话 P2P服务RTC 服务TWeTalk唤醒/降噪/回声消除 远场增益Linux/RTOS双向音视频ASR语义打断LLMTTS可接第三方LLM可接第三方TTSTWeSee（多模态）TWeCall（微通话)TWeTalk（AI对话）P2P音视频RTC音视频视频语义理解、拍照识图设备拔打微信音视频通话教育：听写、背诵、口语陪练陪伴机器人：情感陪伴、康养咨询全屋智能：Function CallP2P双向音视频对讲服务AI Agent陪伴、教育、出行、客服、酒店服务智能耳机、智能眼镜会议场景：转写字幕、多语翻译、智能录制，多说话人分离，降噪增强音频降噪⚫背景音降噪：识别并