车漾-基于开源技术栈构建智能弹性大模型推理服务的架构实践

基于开源技术栈构建智能弹性大模型推理服务的架构实践车漾 | 阿里云车漾阿里云 高级技术专家阿里巴巴云原生应用平台高级技术专家，从事 Kubernetes和容器相关产品的开发，重点探索利用容器技术加速异构计算、深度学习、边缘计算等广泛场景方案的交付与落地，同时是对于开源社区的积极参与者。他是CNCF旗下开源项目Fluid的创始人之一，也是核心维护者。也是业界第一个 GPU共享调度的主要作者和维护者。他还是Alluxio开源项目的管理委员会成员（PMCMember），Kubernetes，Docker和Kubeflow等社区的积极贡献者。目 录CONTENTSI.大模型推理对基础设施服务带来新的挑战II.KNative基于请求数的自动弹性策略III.AHPA优化大模型的智能弹性IV.Fluid：弹性数据集编排和加速V.模型加载优化VI.Demo演示Kubernetes 正成为数字化、智能化应用的云原生基础设施The Data on Kubernetes Community 2022调查报告，90%的受访者认为Kubernetes已经可以很好支持有状态应用，其中70%的受访者已经将其运行在生产环境。IDC预测：到2025年，几乎50%的用于性能密集型计算（如AI、HPC和大数据分析）的加速基础设施将迁移至云端Public CloudEdge ComputingPrivate CloudKubernetes（容器服务 ACK / ACS）Web/mobile applications−Stateless−Idempotent−Horizontal scalableMySQLSparkFlinkElastic-searchKafkaTensor-FlowPyTorchRedisZoo-KeeperData on Kubernetes 2022异构算力ECS, GPU, FPGA, ECI高性能网络VPC, ENI, RDMA, SLB, DNS高性能存储EBS, NAS, CPFS, OSS大模型推理对基础设施服务带来新的挑战•算力：千卡GPU任务，万卡集群•数据：PB级存储，TB级吞吐•网络：800Gbps～3.2Tbps RDMA•训练：分布式，混合并行•推理：模型优化、服务QoS•资源成本：如何充分利用有限计算资源•运维成本：降低复杂度GPT3：175B 参数，单次训练