张圣宇-大小模型协同智能及端云协同应用

大小模型协同智能及端云协同应用张圣宇 | 浙江大学张圣宇浙江大学平台”百人计划”研究员、博士生导师浙江大学启真优秀青年学者。入选第十届中国科协青年人才托举工程。研究方向包括大小模型端云协同智能，多媒体计算与推荐系统。近年来，在TPAMI、TKDE、KDD、CVPR等CCFA类期刊和会议上发表论文四十余篇。任KDD、ACMMM领域主席，SIGIR、IJCAI等会议高级程序委员会委员，ICMR、ACMMMAsia大小模型协同workshop主席。曾获2023年度上海市科技进步一等奖、2023年度计算机学会科技进步一等奖，2024年ACMMultimedia最佳论文奖提名，2023年中国人工智能学会CICAI最佳论文奖、2021年WAIC云帆奖-明日之星（全球15人）等奖励与荣誉。目 录CONTENTSI.大小模型端云协同智能的背景II.大小模型协同基础算法III.大小模型端云协同智能IV.案例分析大小模型端云协同智能的背景PART 01大小模型端云协同智能⚫端云协同（Device-Cloud Collaboration）：指边缘设备（如智能手机、IoT设备）模型和云侧服务器模型协同进化推断。⚫云侧大模型（Large Model）：通用认知计算，拥有强大的计算能力、海量的数据、充分的知识库。⚫终端小模型（Small Model）：实时感知、实时响应，运行轻量级任务，响应速度快。大小模型端云协同智能⚫端云协同计算通过卸载部分学习任务至端侧，让端和云协同完成任务，从而发挥终端靠近用户和数据源的天然优势，降低服务延时至毫秒级，增强模型个性化精准推理能力，缓解云服务器中心负载压力，同时支持用户原始数据在设备本地处理⚫有效克服主流云学习范式在实时性、个性化、负载成本、隐私安全等方面的不足自动驾驶(Gan et al.)YuluGan, MingjiePan, RongyuZhang, et al.: Cloud-Device Collaborative Adaptation to Continual Changing Environments in the Real-World. CVPR 2023: 12157-12166ChengfeiLv, ChaoyueNiu, RenjieGu, et al.: Walle: An End-to-End, General-Purpose,