顾小东-业务领域代码大模型深度探索与实践

业务领域代码大模型深度探索与实践顾小东 | 上海交通大学演讲嘉宾顾小东上海交通大学副教授、博士生导师长期从事智能软件工程领域的研究工作，包括代码大模型、程序自动生成、代码翻译、代码搜索等。提出首个基于深度学习的代码搜索引擎DeepCS。在ICSE、FSE、ASE、TOSEM等顶级学术会议和期刊上发表学术论文30余篇，主持和参与多项国家自然科学基金、国家重点研发计划、国防课题等。并与华为、宁德时代、腾讯等企业开展广泛的产学研合作。 研究概览代码生成•特定领域代码生成•仓库级代码生成•生成代码的修复代码翻译•小样本代码翻译•代码翻译的细粒度评估•C2Rust翻译代码修复•大模型生成代码修复•仓库级问题修复代码搜索•跨语言代码搜索•搜索语句重构代码大模型目 录CONTENTS1.背景：代码生成问题与痛点2.探究：大模型在业务领域的表现3.方法：业务知识与大模型的融合4.深入：基于思维链的正则表达式生成5.实践：复杂程序问题修复6.总结与展望背景：程序生成问题与痛点PART 01基于大模型的程序自动生成大模型数据预训练param := c.Query("param")c.JSON(http.StatusOK,gin.H{"message":param,})// 以下是当前⽂件的相关代码// public skip()// { .. }// 以下是其他⽂件中的依赖代码// public static read () {// ..// 根据以上信息，补全以下代码/* 注册消息通知 */ funcRegister(router * gin.RouterGroup){// 以下是相应的代码样例//样例1，//样例2，…代码生成有监督微调 (SFT)参数高效微调(PEFT)人类反馈强化学习(RLHF)检索增强(RAG)多agent提示关键技术研究现状HumanEval评测榜单挑战大模型的领域面广而不深l 大模型依赖海量的训练数据，而专用领域的训练数据有限l大模型在开放领域数据上预训练，缺少专用领域的知识（API、业务知识、项目私有函数等等）专用领域GitHub通用领域探究：大模型在业务领域代码生成方面的表现PART 02经验研究RQ1: 大模型在特定业务领域的代码生成能力如何？RQ2: 如何提示大模型生成特定业务领域的代码？RQ3: 如何将领域知识引入代码大模型？Gu X, Chen