大模型驱动的端侧智能体v1-陈露

大模型驱动的端侧智能体陈 露上海交通大学计算机系面向智能硬件交互的人机对话系统智能信息硬件超过200亿台信息和知识量超过200EB人机对话 数字生活数字生产数字治理家居消费电子服务业制造业教育医疗社区治理人机对话技术是人机物信息联通的基础性技术，是物联网智能硬件时代推动数字经济转型的重要入口级人工智能技术汽车人机对话系统发展历史对话目标纯聊天完成任务ELIZA系统（1966）UC系统（1980s）勒布纳奖（1990）POMDP系统（2005）知识获取解决方案基于规则模版匹配数据驱动的机器学习深度学习模型第一代（专用型）第二代（专用型）第三代（混合型）大模型时代第四代（通用型）苹果Siri等（2010s）ChatGPT（2022-）对话式大语言模型人机对话系统从面向单一任务的专用型对话系统逐渐发展到支持多任务的 通用型 对话系统Hongru Wang, et al. A Survey of the Evolution of Language Model-Based Dialogue Systems.arXivpreprint arXiv:2311.16789(2023).传统人机对话系统架构的局限性传统人机对话系统严重依赖于后台知识库的API调用，导致通用型和可扩展性不足从人机对话系统到通用智能体将传统的API调用替换为拟人的GUI交互方式，从而支持更加更加广泛的人机交互任务GUI是一个更加通用的交互方式通用数字智能体示例智能体与数字世界（软件、网页、APP）进行拟人交互，帮助人类完成复杂任务Zheran Liu, et al. Reinforcement Learning on Web Interfaces Using Workflow-Guided Exploration. ICLR, 2018.基于GUI交互的通用数字智能体—架构Liangtai Sun, et.al. META-GUI: Towards Multi-modal Conversational Agents on Mobile GUI. EMNLP, 2022.基于GUI交互的通用数字智能体—数据集众包模拟人机GUI交互过程，收集对话历史、屏幕截图、决策动作、系统回复等信息•包含了6个领域，天气查询、日程安排、问题查询、打车、餐馆预订和酒店预订•数据集包含记录对话数据以及GUI操作记录•GUI操