AI增强软件工程-从概念到实践的全生命周期应用

倪琳·2024.05.25AI增强软件工程——从概念到实践的全生命周期应用目录CONTENTS1.LLM简单介绍2.AIASE现状3.AIASE实践4.思考5.提问LLM简单介绍大语言模型(LLM)大语言模型（LLM）是基于海量文本数据训练的深度学习模型（百度百科）2023大模型关键进展“各门各户”经准备成长后快速爆发，各行各业开源闭源大模型层出不穷2023年值得关注的中文大模型全景图百模大战，很难说谁优谁劣LLM能力简单示例语言理解与生成专业技能与计算工具使用LLM生态LLM应用呈井喷式进入更多行业领域，并逐渐开始产品探索AIASE现状AIASE应用领域现在的生产落地领域、仍然集中在编码阶段前后的代码相关的工作辅助上AIASE应用领域智能编码助⼿，是⼤模型产品中⽬前探索较深，产品形态较完善的AIASE工具使用状况报告来源于Stack overflow的2023 Developer Survey，调研了全球超过9万名开发者开发者们尝试使用AI工具去搜索以及辅助开发，从AI中受益；逐渐信任AI的准确率AI Search ToolsAI Developer Tools从AI中受益对于AI准确率的信任AIASE应用分析应用最多=？高价值AIASE热门项目情况MetaGPTDevOpsGPTOpenDevinAIASE的发展与局限AIASE开源项目百花齐放，demo效果十分惊人，但鲜有生产落地AIASE发展策略不同LLM协作方式的成本微调LLM微调方式对LLM模型的主流微调方式有4种：Freeze，即参数冻结，对原始模型部分参数进行冻结操作，可训练参数由自行修改对哪些层进行微调决定；P-Tuning，仅对大模型的Embedding加入新的参数，可训练参数占比0.0586%；P-Tuning-V2，将大模型的Embedding和每一层前都加上新的参数，可训练参数占比13.26%；Lora，即在大型语言模型上对指定参数（权重矩阵）并行增加额外的低秩矩阵，仅训练低秩矩阵，可训练参数占比0.0586% FreezeP-TuningP-Tuning-V2Lora向量知识库将私有化知识或复杂上下文作为知识库，通过LLM+RAG来搭建垂直领域的深度服务AIASE实践我们在AIASE下的实践Lorem ipsum dolor sit amet consectetur adipisicing