张圣宇-大小模型端云协同智能

大小模型端云协同智能张圣宇 | 浙江大学软件学院演讲嘉宾张圣宇浙江大学平台”百人计划”研究员、博士生导师浙江大学启真优秀青年学者，研究方向包括大小模型端云协同计算，多媒体计算与推荐系统。在TPAMI、TKDE、KDD、CVPR等CCFA类期刊和会议上发表论文三十余篇。曾获2023年度计算机学会科技进步一等奖，中国人工智能学会CICAI最佳论文奖、2021年WAIC云帆奖-明日之星（全球15人）。承担国家自然科学基金青年基金、副省级市人才工程项目等项目。曾作为主席联合举办国际学术会议ACMMMAsia大小模型协同进化论坛，全国大模型与决策智能大会“大小模型协同理论与技术”论坛。目 录CONTENTS1.大小模型端云协同智能的背景2.大小模型协同基础算法3.大小模型端云协同智能4.案例分析5.总结大小模型端云协同智能的背景PART 01ChatGPT： 人工智能的IPHONE时刻？•2007年1月9日，乔布斯发布第一代iPhone苹果手机，把iPod、电话、移动互联网设备等进行有机整合，推动了移动互联网进入了黄金发展年代。•今天大模型给人类社会诸多生产、生活模式带来一次大变革。2023年2月，英伟达创始人兼CEO黄仁勋提出随着ChatGPT为代表的大模型出现，我们已经进入“人工智能的iPhone时刻（iPhonemomentofAI）”，这一观点受到美国《财富》杂志、华尔街时报等媒体的广泛认可并转载。•《自然》杂志列出2023年度十大人物(Nature’s10)，除了按惯例从全球的重大科学事件中评选出十位人物外，还有一位非人类——人工智能(AI)工具ChatGPT也“抢镜”上榜。GPT4oGPT-4o（"o"代表"全能"）是朝着更自然的人类与计算机交互迈出的一步——接受任何文本、音频、图像和视频的组合作为输入，并生成任何文本、音频和图像的组合作为输出。它对音频输入的响应时间最短仅为232毫秒，平均为320毫秒，这与人类在对话中的响应时间相近（在新窗口中打开）。GPT-4o：成为人的“眼睛”端云协同计算动机：传统云计算在算法层面围绕特定场景进行端云协同具有靠近⽤户和数据的天然优势端侧用户芯片硬件编程框架终端设备任务场景具有算力和资源丰富天然优势云侧Cloud Computing算法层面协同碎片化、异构化、算力受限延时高、成本大、负载多、部署难端云协同计算动机：打通端侧推理