房春荣-基于大模型的测试断言生成技术

基于大模型的测试断言生成技术房春荣 南京大学演讲嘉宾房春荣南京大学副教授博士，南京大学软件学院准聘副教授、特聘研究员，博士生导师，紫金学者，CCF高级会员，系统软件/容错计算专委会委员，主要从事智能软件工程研究(BigCode&AITesting)。主持国家自然科学基金项目3项，国家重点研发项目骨干2项，教育部产学合作协同育人项目3项，横向科研项目若干。在CCF-A会议/期刊发表论文40余篇，获得国际会议最佳论文1项，申请发明专利10余项，部分成果在华为、百度等知名企业应用。曾担任AST、AIST等国际会议程序委员会共同主席，多次担任国际顶级会议程序委员会委员及顶级期刊审稿人，并多次获得杰出审稿人。参编多项软件工程和工业APP相关国家、省、团体标准。获2022年国家级教学成果奖，CCFTCFTC2021年软件测试青年创新奖，2020国家级一流本科课程、2018国家精品在线开放课程《软件测试》。目 录CONTENTS1. 研究背景2. 单元测试生成和修复3. 单元测试的断言问题①初步探索：面向单元测试场景的大模型断言生成能力②检索角度：基于混合检索增强的单元测试断言生成③训练角度：基于检索生成协同增强的单元测试断言生成4. 应用验证5. 总结与展望研究背景大语言模型和单元测试基础PART 01研究背景-单元测试与测试断言单元测试的例子测试前缀测试断言功能实现预期功能单元测试：一种被广泛接受的甚至是强制性的开发实践断言问题：预期的行为或测试断言应该是什么研究背景-单元测试生成方法存在的主要问题大模型生成单元测试的流程图n以大模型会话迭代为主要框架的代表性方法充分利用了大模型的语义理解和代码生成能力，n以 CODAMOSA为代表的算法，计算资源的开销主要取决于选取的传统测试方法，大模型作为辅助工具来改进传统测试方法研究背景-单元测试生成方法存在的主要问题n生成无效测试用例：Ø大型语言模型（LLMs）可能在上下文不足的情况下生成无效的测试用例，导致编译错误。这意味着生成的测试用例无法成功运行，影响测试过程的有效性。n缺乏测试和覆盖反馈：Ø缺乏详细的测试反馈和覆盖率信息可能导致生成的测试用例在运行时出现错误，并且覆盖率低。这意味着生成的测试用例可能未能充分测试目标代码，从而降低了测试的全面性和有效性。n重复抑制问题：Ø现有方法中，LLMs可能会陷入自我修复或再生成尝试的重复循