徐海洋-多模态多端手机智能体Mobile-Agent

多模态、多端手机智能体Mobile-Agent徐海洋 |阿里巴巴通义实验室徐海洋阿里巴巴通义实验室 高级算法专家 阿里通义实验室高级算法专家，负责通义多模态大模型mPLUG、Mobile-Agent系列工作，包括基础多模态模型mPLUG/mPLUG-2，多模态对话大模型mPLUG-Owl/Owl2，多模态文档大模型mPLUG-DocOwl，多模态智能体Mobile-Agent、PC-Agent等，其中 mPLUG 工作在 VQA 榜单首超人类的成绩，Mobile-Agent工作CCL2024 Best Demo，获得多个多模态榜单第一和Best Paper。在国际顶级期刊和会议ICML/NeurIPS/ICLR/CVPR/ICCV/ACL/EMNLP等发表论文50多篇，并担任多个顶级和会议AC/PC/Reviewer。主导参与开源项目mPLUG，Mobile-Agent，AliceMind，DELTA。目 录CONTENTSI.大模型智能体背景II.多模态手机智能体Mobile-AgentIII.多模态PC智能体PC-AgentIV.Mobile-Agent开源应用大模型智能体背景PART 01大模型智能体是人工智能应用的未来“如果一篇论文提出了某种不同的训练方法，我们内部的Slack上会嗤之以鼻，认为都是我们玩剩下的。但是当新的AI Agents论文出来的时候，我们会认真兴奋的讨论” – Andrej Karpathy“AI Agent不仅会改变每个人与计算机交互方式。它还将颠覆软件行业，带来自我们从键入命令到点击图标以来最大的计算变革” – 比尔盖茨大模型智能体的优势OpenAI FiveDeepMind AlphaStarLLM Agent with ChatGPT传统基于RL的智能体的局限性大模型智能体的优势数据采样专有环境和低效面向特定任务稀疏奖励和长时段问题丰富的世界知识推理/规划能力工具使用（检索、code等）In-context Learning大模型智能体系统在人工智能领域，AI智能体指可以观察周遭 环境 并作出 行动 以达致 目标 的 自主 实体Agent System Overview from Lilian Weng’s blogWang et al. A Survey on Large Language Model based Autono