杨敏-数据驱动下的大模型微调策略与挑战

数据驱动下的大模型微调：策略与挑战杨敏 & 倪仕文YSSNLP 2024 — 昆明YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024团队介绍SIAT-NLP另有博士生研究生和硕士生研究生30余人谭明环 博士新加坡管理大学助理研究员倪仕文 博士台湾成功大学助理研究员杨敏 博士中科院深圳先进院数据挖掘实验室主任中科院青促会成员连续三年入选全球前2％顶尖科学家 YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024大语言模型指令微调介绍指令微调数据集及其构造高质量指令微调数据筛选各种指令微调方法及解析01020304目录YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024大语言模型指令微调介绍指令微调数据集及其构造高质量指令微调数据筛选各种指令微调方法及解析01020304YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024 大语言模型什么是大模型指令微调？预训练是大模型训练的第一阶段，模型在大量无标签语料库上进行训练，使其能够充分理解语言的基本语法、语义和上下文关系，学习海量基础知识。 预训练大量无标签数据YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024什么是大模型指令微调？任务/领域 1任务/领域 2任务/领域 3任务/领域 4任务/领域 5 大语言模型指令微调没见过的任务/领域任务/领域 1任务/领域 2任务/领域 3微调是预训练之后大模型训练的第二阶段，预训练阶段模型学习到海量知识，但是模型还没有学会解决各类具体的任务。通过多任务指令微调，让模型学会使用预训练阶段习得的知识，使之具备正确响应各种输入的能力。YSSNLP2024YS