在+Kubernetes+云平台上训练和部署生成式+AI+大模型

© 2024, Amazon Web Services, Inc. 或其附属公司。保留所有权利。© 2024, Amazon Web Services, Inc. 或其附属公司。保留所有权利。在 Kubernetes 云平台上训练和部署生成式 AI 大模型王宇博开发者关系总监亚马逊云科技© 2024, Amazon Web Services, Inc. 或其附属公司。保留所有权利。生成式 AI© 2024, Amazon Web Services, Inc. 或其附属公司。保留所有权利。1.生成式 AI2.Kubernetes 上的机器学习3.用于生成式 AI 工作负载的 Amazon EKS 基础设施目录© 2024, Amazon Web Services, Inc. 或其附属公司。保留所有权利。什么是生成式 AI•创造新内容和想法，包括对话、故事、图像、视频和音乐•由大模型驱动，此类模型是在庞大的数据语料库中进行预训练，通常也称之为基础模型（FM）© 2024, Amazon Web Services, Inc. 或其附属公司。保留所有权利。生成式 AI 的发展一日千里© 2024, Amazon Web Services, Inc. 或其附属公司。保留所有权利。Claude 3 创造模型智能水平的新纪录Claude 3 Opus 在大多数常见的 AI 系统评估基准测试中优于同类模型本科生水平专业知识 (MMLU)多语言多模态的推理能力知识问答和复杂编程(ARC-Challenge, HumanEval)来源：https://www.anthropic.com/news/claude-3-family研究生水平的推理 (GPQA, Diamond)数据问题，跨语言数学能力 (MATH, MGSM)© 2024, Amazon Web Services, Inc. 或其附属公司。保留所有权利。Anthropic 使用 Amazon EKS 和 Karpenter构建和训练 LLM挑战 :Anthropic 需要高效可靠地构建、训练和部署其拥有数十亿参数的 LLM（Claude）解决方案 :Anthropic 使用带有 Karpenter自动伸缩功能的 Amazon EKS 和用于模型检查点的 S3 构建了所有应用，包括使用 Spark 进行数据处理、模型训练和模