张松昕-大数据为大型模型提供支持

Big Data Empower Large Models张松昕| 南方科技大学演讲嘉宾张松昕南方科技大学研究学者南方科技大学统计与数据科学系研究学者，UCloud顾问资深算法专家，曾任粤港澳大湾区数字经济研究院访问学者，主导大模型高效分布式训练框架的开发，设计了SUS-Chat-34B的微调流程，登顶OpenLLMLeaderboard、Opencompass同参数量级模型榜首。打磨一流大模型预训练与微调技术构建先进大模型训练基础设施2 / 38Main Point百亿参数级别通用领域语言模型 基于 Scaling law构建数据筛选策略 快速迭代构造十亿token量级高质量数据 自研分布式框架助力模型高效训练 全尺寸模型的训练成本线性拓展Trained on , about . Completed during collaboration 3 / 38SUS-Chat: Instruction Tuning Done Right 发布时，在OpenLLMLeaderboard40,000+的模型中排名第⼀ ，OpenCompass中Chat模型排名第⼀OpenCompass (1227) Open LLM Leaderboard (1205) 4 / 38国内外领先的通用语言模型GPT-491.445.886.7OrionStar- Yi-34B- Chat54.3612.862.88Yi-34B- Chat63.7610.0261.54Qwen-72b- Chat76.57Deepseek- 67b-Chat74.4529.5669.73 在难度最大的数学推理任务中，位居世界第一 逻辑推理的综合能力达到世界领先水平SUS-Chat- 28.8 67.625 / 38国内外领先的通用语言模型 唯一支持6D并行的分布式训练框架 高效训练算子适配与优化 无效Padding计算裁剪Colossal-ai × × 5D + Zer