刘勇-检索增强RAG能提升大模型的推理能力吗

检索增强（RAG）能提升大模型的推理能力吗？中国人民大学高瓴人工智能学院刘 勇2目录丨CATALOGUE背景介绍基本设定理想情况有噪音情况01020304What is RAG•LLMs存在问题–幻觉问题：有论文证实，自回归预训练的大语言模型的幻觉问题不可避免[1]，LLM无可避免的会提供部分虚假信息–时效性问题：规模越大，大模型训练的成本越高，更新知识的代价越大，对于一些高时效性的任务，大模型无能为力–数据安全：OpenAI已经遭到过几次隐私数据的投诉，企业不会把自己的经营数据、合同文件等机密文件和数据上传到互联网上的大模型•RAG（Retrieval-AugmentedGeneration,检索增强）–是解决上述问题的当前比较流行的方法[2]3[1] Calibrated Language Models Must Hallucinate Adam. In STOC[2] Retrieval-augmented generation for large language models: A surveyWhat is RAG第五步：生成答案第一步：用户提出问题第二步：检索文档第三步:选出相关文档第四步：Query+文档输入大模型•LLM: 𝑝(𝑦|𝑞)–其中，𝑞为query, 𝑦为答案5Can RAG Help Reasoning?•RAG: 𝑝𝑦𝑞,𝑑1,𝑑2,⋯–其中，𝑞为query, 𝑑𝑖为document, 𝑦为答案–RAG提供额外的信息Question：RAG能提升推理能力吗？•Chain of Thought (CoT) –理论上已经证明COT能提升LLM的推理能力[3]6相当于增加的Transformer的深度Chain of Thought （COT）•能增加推理的原因COT：𝑝𝑦𝑞,𝑥1,𝑥2,…–𝑥𝑖为推理的中间结果–𝑥1=𝑝𝑦|𝑞,𝑥2=𝑝𝑦|𝑥,𝑥1,⋯,𝑦=𝑝𝑦𝑥,𝑥1,⋯,𝑥𝑘[3] Chain-of-thought prompting elicits reasoning in large language models. In NeurIPS20227COT：推理理论上可以重复很多次RAG：一般只执行一次COT: 𝑝𝑦𝑞,𝑥1,𝑥2,…RAG: 𝑝�