赵晨阳使用多模态模型构建适用于LLM搜索的数据

使用多模态模型构建适用于 LLM 搜索的数据演讲人：赵晨阳矩阵起源-AI产品研发负责人010203040506目录引言与背景多模态模型的混合检索架构GPU加速的数据处理与模型优化 LLM辅助的检索结果筛选与优化引导式数据标注与自动化数据洞察未来与展望引言和背景大模型时代企业面对的数据需求和挑战构建一个自动杠杆收购（LBO）智能体，用于从非结构化的10-K文件和收益报告中自动提取并填充结构化数据。某金融行业从已有文档中快速提取知识，并依赖结果构建AI智能体。某销售行业CRM从海量元器件图样中抽取部件信息，作为结构化数据存储，构建自动化的元器件数据录入和管理系统制造业IoT场景在海量用户数据基础上，快速依据用户场景对数据进行分类，标注，构建Prompt-tuning数据集。构建智能家居多模态控制智能体某智能家居应用需求的爆发大模型落地需要”知识”02通过指令引导，企业可以教会大模型如何对特定的场景和数据做出反馈，提高模型的适用性和效果。企业需要根据业务需求设计有效的指令和Prompt，以引导大模型进行正确的学习和应用。03训练数据的质量和多样性直接影响大模型的思考宽度和深度。SFT（Supervised Fine- Tuning）技术可以帮助大模型更好地理解和执行特定任务。企业需要收集和整理大量的行业相关数据，以训练和优化大模型，使其能够更好地适应特定的业务场景。01通过指令引导，企业可以教会大模型如何对特定的场景和数据做出反馈，提高模型的适用性和效果。企业需要根据业务需求设计有效的指令和Prompt，以引导大模型进行正确的学习和应用。训练数据Prompt高质量“知识”的重要性In-Context大模型应用落地的鸿沟我们有几十PB的历史媒体素材库，散放在各种系统、硬盘、网盘等空间里，有历史报刊的数字化文件，采访的音视频，大量的图片等等。我们的产线正在由多种设备实时生成各种格式的文件，包括csv、txt、pdf、word、jpg和mp4，这些都是我们产线实际情况的体现。但是目前只有结构化数据被自动处理，其他类型的数据必须通过大量的人工作业来处理。我们的先进产品是精密的医疗器械，需要相当的专业知识才能操作。我们拥有过去很多年留存的的培训材料，包括介绍视频，实际操作说明甚至各种问题案例。来自某医疗器械公司来自某大型传媒集团来自某电子制造公司非结构化数据的广泛存在在企业中，非结