朱少民-大模型时代软件研发正确打开方式

大模型时代软件研发正确打开方式朱少民 | 同济大学朱少民 “软件工程”3.0定义者/CCF杰出会员、质量工程SIG主席同济大学特聘教授、CCF杰出会员、质量工程SIG主席、软件绿色联盟标准评测组组长。近三十年来一直从事软件测试、质量管理等工作，先后获得多项省、部级科技进步奖，已出版了二十多部著作和4本译作，代表作主要有《软件测试方法和技术》、《全程软件测试》、《敏捷测试》等，并经常在国内外学术会议或技术大会上发表演讲。曾任思科（中国）软件有限公司QA高级总监、IEEEICST2019工业论坛主席、IEEEICST、QRS、DAS等国际学术会议的程序委员、《软件学报》审稿人等。演讲嘉宾目 录CONTENTSI.国内LLM落地软件研发的现状II.LLM更适合编程工作吗？III.代码生成的正确打开方式IV.软件研发终极打开方式V.未来展望国内LLM落地软件研发的现状01发布《2024软件研发应用大模型国内现状调研报告》国内应用整体状况重视LLM且能够投入较多人力和资源 的团队占比已超过一半(59.5%)，比去年提升了12.9% 国内应用LLM的动机和效益使用的LLM情况和面临的困难接近1/3的软件研发团队是采用成本最低的方式：直接使用第三方LLM API应用面临的困难LLM驱动软件产品创新、需求定义需求提效20+%：>41%LLM驱动软件设计设计提效20+%：>37%LLM驱动编程编程提效20+%：>46%哪家AI编程工具、框架强？LLM驱动测试测试提效20+%：>27%LLM驱动运维大模型相关技术应用情况LLM更适合编程工作吗？02“LLM适合编程”有三大理由代码数据质量高编程语言也是语言团队中开发人员的成本是最高的大模型是概率模型，存在幻觉问题1 -数据产生的幻觉：错误的数据源、知识边界、数据利用不当2-训练相关的幻觉：预训练缺陷、对齐问题、能力不匹配3 -推理相关的幻觉：解码策略缺陷、上下文注意力不足“代码却是需要准确，错一个符号都不行“那我们需要缓解幻觉问题ü数据：增强数据质量、知识边界管理ü训练：改进预训练过程、对齐目标优化ü推理：增强解码策略、上下文增强代码生成的正确打开方式03悖论：基于代码生成单测示例：计算年龄大模型基于程序生成的测试代码大模型生成了Bugly程序现在让LLM先思考验证点、生成单测基于单测再生成程序代码这样生成的代码才是高质量的UTD