王述-优中选优金融大模型的优化演进之路

优中选优，金融大模型的优化演进王述 | 奇富科技演讲嘉宾王 述奇富科技资深算法专家奇富科技大模型部资深算法专家，语言模型组负责人，主要负责内部金融大模型的研发工作及相关应用的落地。曾在百度、字节跳动任职，并主导语言模型和知识图谱相关项目的研发，在大语言模型、多模态语义理解和知识图谱等技术领域有深入的研究与丰富的实战经验。目 录CONTENTS1.发展背景：从通用到金融2.研发流程：多阶段知识增强3.优化策略：深入理解问题4.应用实践：奇富 Copilot发展背景：从通用到金融PART 01演进历程：从通用模型到金融模型Lee J, Stevens N, Han S C, et al. A survey of large language models in finance (finllms). arXiv 2024通用模型能力涌现金融模型能力深耕金融数智化转型与大模型高度适配研发流程：多阶段知识增强PART 02研发架构：领域通用与场景适配结合金融大模型研发的四种范式专业金融知识注入，多阶段知识增强数据准备：数据质量是高性能AI的地基覆盖多种数据来源，多种清洗策略组合的标准化数据处理流程；语料 badcase 率从 40% 下降至 5% 左右数据准备：高质量多样化的指令数据不同任务、来源、形式的数据混合在低样本资源场景下的效果提升会更加显著，数据量会直接影响模型效果增量预训练：合适的数据及配比是关键两阶段指令微调：缓解任务冲突不同 SFT任务的数据混合可能会出现效果冲突的现象，DMT策略可以有效缓解任务冲突，提升效果任务解决及指令遵循能力仍然需要一定数量的高质量标注数据偏好对齐The Llama 3 Herd of Models. Meta Llama Team, arXiv2024如果 SFT 的模型效果不佳时，再进行 DPO 等强化学习优化操作，效果不会理想甚至可能是负向优化覆盖全面的大模型评测框架金融大模型训练各阶段的评测目标不同，不同领域/场景的任务多样化，且需要针对社会层面的潜在风险进行评估挖掘大模型真实能力的评测体系选择题一般仅能反应模型在语言理解和知识储备上的能力，无法评估模型的问题解决能力开源任务评测数据集标注质量参差不齐，无法真实有效的评估模型的任务解决水平优化策略：深入理解问题PART 03不同阶段大模型获取的能力不同深入理解问题，定位问题根因预