尹一峰-RAG基本范式的选择与系统设计

RAG 基本范式的选择与系统设计演讲⼈：尹⼀峰Hugging Face, Machine Learning Engineer0102030405⽬录RAG 简介Semantic Search 到底是在做什么？系统设计KG RAG未来的趋势与挑战RAG 简介01我们为什么需要RAG？为什么需要RAG？LLM的两个问题：•再训练成本⾼•世界在改变，现实世界的数据分布在改变（Distribution shift / Concept Drift etc）•以反向传播训练的⼤模型⽆法做到牵⼀发⽽不动全身•每次训练成本都很⾼（需要混⼊之前的数据，测试等等）•对于通⽤模型⽽⾔，训练结束⽴⻢过时•幻觉•LLM是⾃回归概率模型•⽆法彻底根除幻觉，但可以缓解症状为什么需要RAG？问题如何解决？•主流 LLM 是以 transformer 架构驱动的⾃回归模型（事情正在起变化，后⾯细说）•条件概率模型•理论上说，通过调整 prompt，我们可以让 LLM 输出任何 token 组合•LLM 的两个问题都可以通过调整 prompt 来缓解•RAG 的本质就是通过调整⾃回归条件来优化输出•Prompt EngineeringPθ(x)=n∏i=1pθ(xi|prompt,x<i)为什么需要RAG？RAG：•通过检索的⽅式选择 Prompt Engineering 的材料•任何形式的搜索都可以•SQL，搜索引擎，Vector Database, Elastic Search etc•只要能把合适的⽂件找到就可以•通过改变条件影响输出分布•新知识 — 对抗 Distribution Shift•相关⽂件 — 减少幻觉Semantic Search 到底在做什么？02Semantic Search•起源⾃Metric Embedding•将⽂件投射到⼀个⾼维度测度空间 (Metric Space)•Metric Distance Function: 与⾃⼰距离为 0，两个不同的点距离⼤于 0，距离对称，三⻆不等式•投射函数让⽮量间的距离有意义•Semantic Search•将⽂件投射到⼀个⾼维度空间（不⼀定是测度空间）•⾮测度距离亦可使⽤（Cosine Distance etc）•投射函数（Embedding Model）让⽮量间的距离有意义Semantic Search 到底是在做什么数据库检