张连壮-Luban青云智算平台HAMi实践

云原生 + AI Meetup12/28 广东省广州市海珠区鼎新路88 号广州阿里中心13:30-17:30广州站主办方合作伙伴云原生 + AI Meetup 广州站Luban青云智算平台HAMi实践张连壮青云科技高级研发工程师云原生 + AI Meetup 广州站HAMi 介绍HAMi是一个面向Kubernetes 的异构设备管理中间件。它可以管理不同类型的异构设备（如GPU、NPU、MLU、DCU 等），实现异构设备在Pod 之间的共享，并基于设备拓扑和调度策略做出更优的调度决策。云原生 + AI Meetup 广州站HAMi 示例云原生 + AI Meetup 广州站HAMi 用户平安证券平安银行新网银行中国移动H3C华为东南大学/东华大学/中国矿业大学科大讯飞云原生 + AI Meetup 广州站HAMi 核心解读云原生 + AI Meetup 广州站HAMi 架构云原生 + AI Meetup 广州站HAMi 架构cuda driverapi 的劫持nvidia openkernel云原生 + AI Meetup 广州站cuda劫持的核心原理CUresult cuDeviceGet(CUdevice *device,int ordinal){LOG_DEBUG("into cuDeviceGet ordinal=%d\n",ordinal);CUresult res = CUDA_OVERRIDE_CALL(cuda_library_entry,cuDeviceGet,device,ordinal);return res;} ld_preload云原生 + AI Meetup 广州站运行架构应用层：使用gpu资源的应用，机器学习，深度学习，各种框架，训练，推理等K8S处理层：该层复制处理k8s的内部资源调度K8S资源层：资源层负责GPU的申请，POD的创建云原生 + AI Meetup 广州站GPU 虚拟化技术-昇腾云原生 + AI Meetup 广州站GPU 虚拟化技术-海光mask 配置文件cu_mask: xxx计算单元mem: yyy显存云原生 + AI Meetup 广州站调度器云原生 + AI Meetup 广州站HAMi exportershared mem 的方式提供数据云原生 + AI Meetup 广州站远程调用rcuda ：是“西班牙