李琦-业务部门通过自研AI系统增效的解决方案

业务部门通过自研AI系统增效的解决方案李琦 | 神州网信演讲嘉宾李琦神州网信技术有限公司 高级支持工程师在技术服务领域拥有15年的行业洞察和实践经验，流程改进专家，公司数字化转型的先锋和关键贡献者。技术领域涵盖了服务技术管理、软件工程、Python、提示词工程、数据库管理以及自然语言处理（NLP）。目 录CONTENTS1.背景介绍2.AI大语言模型的赋能3.实战案例分享4.现存问题与未来规划5.总结与展望背景介绍PART 01背景介绍面临的挑战与痛点部门内部数据共享不畅，影响决策效率和服务质量数据孤岛问题效率瓶颈问题业务部门懂业务，研发部门懂技术传统客户服务流程手动操作步骤过多效率低下数字化转型历程-初期尝试与探索流程挖掘工具+ 自动化工具业务流程优化和自动化数据可视化仪表板促进数据驱动决策AI大语言模型赋能PART 02LLM赋能LLM赋能SummarizeExtractGenerateClassifySearchRewriteTO CTO B?落地实施方案训练LLM ---端到端模型•耗时耗力，成本较大（金钱+人力+数据）•单一任务场景•使用SOTA model并不一定可以得到SOTA result•具备推理泛化能力懂得业务的AI优先需要懂得业务的人业务= 流程 + 数据代码实现次之文本预训练基础大模型微调SFT模型放弃训练LLM ---非端到端模型•保留LLM对于公共知识的感知能力•灌输领域知识的认知能力•每个企业都有自己的SOTA model实战案例分享PART 03电话量逐年上升用户对解决问题速度的要求快速定位解决方案的需求服务电话中心面临的挑战累计电话量达20000+1月2月3月4月5月6月7月8月9月10月11月12月电话量邮件2023年2022年2021年案例一：利用LLM助力案例处理•需要业务背景•关键词模糊•递进查询•手动筛选目前的知识库（关键词搜索）•上下文语义理解•支持多轮问答•整合答案•数据本地化理想的知识库（向量搜索）痛点第一阶段：向量相似度匹配的AI知识库•少量数据集•匹配速度快•语义相似度搜索优势•问答对的单一形式•源数据内容交叉信息少•对用户提问要求高劣势图片来源：Retrieval-Augmented Generation for Large Language Models: A Survey第二阶段：以高级RAG为核心的自研A