阿里云释放算力潜能加速应用构建Serverless为AI创新提速2023-1页

释放算力潜能加速应用构建Serverless为AI 创新提速赵庆杰阿里云Serverless基础架构团队负责人2023年12月1日目录01AI应用的发展趋势以及面临挑战02Serverless技术加速AI应用的构建03ServerlessAI应用案例AI 应用场景极速增长百花齐鸣的AI应用市场竞争下，“迭代速度”成为关键因素之一异构计算GPUCPUNPUFPGA资源调度资源虚拟化分布式调度基础设施：数据存储与高性能网络模型训练AI计算开发者领域AI工具算法框架AIStudio算法库AI在线应用（推理）AI应用PaaS平台网关鉴权快速部署服务依赖AI应用面临的挑战•AI应用的构建复杂，且需要多环境部署支持，需要与非AI应用集成•随着AI应用功能逐渐丰富，调用链路长极大影响问题的快速发现•AI应用组件无法复用，持续重复造轮子，浪费资源成本，如绿网能力，队列等•网关通用能力，安全鉴权，限流保护，多协议支持，防护攻击等AI计算力面临的挑战•GPU资源紧缺且成本高，需要持续保有购买•卡型不统一导致算力不统一，进而影响应用层架构•随着计算规模的提升，容错能力也越来越重要•大数据的读取，以及模型的快速加载，对于底层的技术要求越来越高AI 技术概览GPU太贵，型号那么多，换代快，怎么架集群找不到GPU机器用机器利用率太低了！那么多机器都闲着听说GPU很快，但是我们工程师用起来反而比CPU慢硬件复杂度资源管理复杂度全系统优化复杂度调度效率复杂度经常听到的问题？Serverless AI 应用解决方案如何高效率低成本落地如何方便快捷部署使用工程相关算法相关接口相关•工程能力比较强，更希望有一个平台可以提升整体的研发效能，降低运维成本；•往往和实验室/公司内的设备有强关联，需要有安全保障等；负责AI应用平台建设和管理负责AI模型开发调试通过API等对接口进行工程化封装•算法能力比较强，希望有一个好用的AI模型管理平台；•希望可以在本进行开发调试、线上进行测试的时候，有一个便捷的环境等；•工程能力比较强，更希望有一些项目案例等，可以帮助业务快速的发布和上线；•有完整的应用开发、调试、发布流程等；AI开发者模型相关工程相关算法相关接口相关不同角色，在AI 场景下的诉求函数计算提供构建现代化高可用AI 应用的简化路径，是AI 应用的最佳实践Serverless 开发平台AI 场景•三步上手最佳