谢皓-AIAgent在边缘云的探索与实践

AI Agent在边缘云的探索与实践连接物联世界，让AI触手可及演讲人：谢皓火山引擎/边缘智能技术负责人0102030405目录边缘云在智能方向的演进之路边缘智能助力智能体落地边缘云智能体在火山引擎边缘云的实践总结与展望智能体在边缘云落地的问题与挑战边缘云在智能方向的演进之路火山引擎边缘智能简介终端设备现场边缘近场边缘云边缘云中心用户现场1-5ms区域城市5-20ms区域中心城市20-40ms低时延低成本算力密集高效率局域网立足边缘云，协同端云算力，打造智联方案设备接入Non-IP 终端设备Pull-Only 模式的设备性价比低延时低带宽成本安全数据主权数据隐私可靠性边缘自治断网续传AI 史前的边缘智能 --- 物联网（IoT）-设备现场直连设备非直连设备现场边缘 物联网关规则引擎设备连接消息转发数据采集物联网平台基础设施设备接入设备管理设备协议物模型消息通信规则引擎计算资源存储资源网络资源数据平台消息中间件数据仓库数据分析数字孪生设备影子时间节点2014年左右代表技术大数据核心功能智能水平边缘算力：~0TOPS基于规则的的伪智能云计算设备连接规则引擎消息转发中心云数据聚合AI 1.0时代的边缘智能 --- 智慧物联（AIoT）设备现场中心云端设备端系统三方平台边缘智能设备连接数据转发视音频处理边缘容器边缘推理物联协议视频协议API调用数据调用弹性容灾管理协同数据协同服务协同边缘智能驱动管理设备管理容器管理远程运维模型管理监控预警aPaaS生态边缘云资源协同计算资源存储资源网络资源弹性协同时间节点2017年左右代表技术机器视觉深度学习 核心功能智能水平边缘算力： 1-10TOPS小场景的有限智能边缘推理视音频处理 AI 2.0时代的边缘智能 --- 智能体 （AI Agent）虚拟助手智能体家庭清洁智能体https://arxiv.org/html/2409.14457v1#bib.bib51时间节点2023年左右代表技术大语言模型多模态大模型核心功能智能水平边缘算力：>10 TOPS一定领域的泛化智能感知理解执行动作规划决策长短记忆智能体在边缘云落地的问题与挑战问题一: 如何泛化智能体对设备能力的理解原始想法设备能力API化设计合适prompt告知设备能力通过function call 操作设备问题无法动态感知设备无法泛化对设备的理解 问题二: 如何形成AI 1