常扬-文档解析技术加速大模型训练与应用

文档解析技术加速大模型训练与应用常扬 合合信息演讲嘉宾常扬合合信息智能创新事业部研发总监 / 复旦大学博士合合信息智能创新事业部研发总监，复旦博士，复旦大学机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，多个学术会议讲师与技术社区AI专家博主，负责合合智能文档处理业务线的产品、技术、云服务平台研发工作。任职期间，先后主导AI数据清洗平台、信息抽取产品、智能文档处理云服务平台、智能文档场景落地产品，为金融、制造、物流等行业提供智能文档处理产品与解决方案，在人工智能领域具备丰富的技术落地经验和行业场景洞察力。目 录CONTENTS1.当前大模型训练与应用中的挑战2.文档解析技术发展与研究内容3.TextIn文档解析技术算法框架4.基于文档解析技术的大模型应用探索5.总结与展望当前大模型训练与应用中的挑战PART 017研究背景当前大模型训练与应用过程的关键环节面临的问题训练Token耗尽训练语料质量要求高LLM RAG应用中文档解析不精准8CommonCrawl, C4, Github, Wikipedia, StackExchange, Huggingface数据集……LLAMA2: 2TTokensGPT4: 13T Tokens高质量预训练数据跟不上模型的进化如何高效获取更多高质量数据?互联网❓❓书籍、论文等PDF/扫描件Markdown核心诉求文档元素识别，表格、段落、公式、标题版面正确解析，双栏、三栏、文表混合更多、更高质量的训练语料的需求 –大模型训练转化速度快，上百页PDF阅读顺序还原，避免混乱语序9大语言模型（LLM）驱动的检索增强生成（RAG）技术中确保能够从源文件中精准地提取内容，对于提高最终输出的质量至关重要。在实际工作场景中，非结构化数据远比结构化数据丰富。但如果这些海量数据不能被解析，其巨大价值将无法发掘，其中 PDF 文档尤为突出。RAG技术流程更高精准、效率的文档解析的需求–大模型应用10研究方向：多版式、高精度、高性能的文档解析技术（书籍、论文、企业文档...)各种格式、版式文档文档问答、知识库问答大模型TextIn文档解析技术TextIn文档解析技术训练应用11文档解析技术发展与研究内容PART 0212有标记文档无标记文档Word文档HTML文档计算机视角下有标记的文档：# 有标记文档MarkDow