廖子寒-生成式大语言模型在搜索领域的突破与应用

例：支撑海量数据的大数据平台与架构例：茹炳晟例：腾讯Tech Lead，腾讯研究院特约研究员正文要求：微软雅黑：最小字号8号宋体：最小字号10号等线：最小字号12号生成式大语言模型在搜索领域的突破与应用廖子寒蚂蚁集团，算法工程师廖子寒蚂蚁集团，算法工程师目前是华东师范大学计算机科学与技术博士在读生，主要研究方向为自然语言处理、大语言模型以及推荐系统。我在顶级学术会议和期刊上发表了多篇论文，包括ACL、TKDE、PAKDD等，研究课题涵盖语义搜索、长上下文建模、代码检索和推荐系统去偏等多个领域。我的研究工作致力于推动大语言模型在实际应用中的表现，解决模型精度和效率的问题。我曾在蚂蚁集团担任研究型实习生，负责优化大语言模型在语义搜索和代码检索中的应用。实习期间，我参与了大语言模型的设计和调优，推动了多项技术落地应用，并成功将相关模型提升至行业领先水平。CONTENTS目录1.研究背景与动机2.D2LLM模型设计与优化3.CGE模型在代码嵌入中的应用4.总结与未来展望研究背景与技术贡献LLM应用需求与挑战•生成任务vs搜索任务Ø生成任务：基于上下文生成后续的文本片段Ø搜索任务：需要紧凑、特征丰富的向量表示，以便能够在大量文档或代码片段中快速匹配查询和候选项的相似度•生成式模型Ø每次生成对下一token的预测Ø无法获取上下文句子级语义ChatGPT今天天气晴朗，我们一起出去散步吧<eos>散步吧现有方法的局限性•Bert式双编码器Ø优点：效率高、可预计算Ø缺点：准确性低、泛化能力弱•LLM式交叉编码器Ø优点：准确性高、快速适配新领域Ø缺点：效率低、难以应用如何将两者结合起来？研究目标与贡献目标1：将生成式LLM适配搜索任务，来更准确地理解语义目标2：利用LLM的预训练知识，更高效地处理多样化的搜索需求目标3：有效压缩LLM对文档与代码的嵌入维度，减轻存储压力D2LLM模型设计与优化方法架构ZihanLiao et.al,2024.D2LLM: Decomposed and Distilled Large Language Models for Semantic Search.教师模型•我们为对称与非对称搜索任务设计prompting策略（𝐏𝐬𝐲𝐦和𝐏𝐚𝐬𝐲𝐦）•计算LLM回复的嵌入表示𝒚%&𝒯以及“yes”词元的概率（分数）𝑠%&𝒯.𝑦%&𝒯=