刘东-NASL领域大模型训练

NASL领域大模型训练刘东 | 网易数智刘东网易 AI算法专家2012年毕业于清华大学电子工程系，长期从事人工智能领域算法与系统的研发工作，参与过OCR、语音识别、机器翻译、机器学习平台等多个方向的项目研发，目前主要负责网易CodeWave产品中NASL大语言模型以及多模态模型的相关研发工作。目 录CONTENTSI.CodeWave智能开发平台与NASL语言介绍II.NASL领域模型训练项目背景III.NASL领域模型训练整体思路IV.NASL领域数据构造挑战与解决方案V.模型训练与评测VI.总结与展望CodeWave智能开发平台与NASL语言介绍PART 01CodeWave智能开发平台介绍•网易数智旗下低代码产品•提供可视化的开发环境•通过图形化界面、拖拽组件、配置参数等方式来创建应用程序•无需编写大量的传统代码CodeWave相对传统开发的优势•传统应用开发概念多，技术栈复杂，对开发人员要求高•低代码产品降低用户门槛，没有深厚编程背景的业务人员也可使用CodeWave整体技术方案•以统一的NASL语言为核心•提供完善的工具链•用户在IDE中的可视化编辑，本质是在写NASL代码CodeWave核心NASL语言•Next Application Specific Language•基础语言•特定领域子语言CodeWave面临的挑战与思路•用户的顾虑•有学习成本•开发效率、开发质量能否提升•解决思路•引入基于AI的copilot工具辅助用户•自然语言写代码、代码补全•算法需求：底层需要懂NASL语言的大模型驱动NASL领域模型训练项目背景PART 02NASL领域模型训练背景•现有大模型均不了解NASL语言NASL领域模型训练—prompt方案•通过优化提示词的方式，有一定效果NASL领域模型训练—prompt方案评测•基础语言部分—HumanEval测试集•人工排除与web开发完全无关的问题，剩余问题改写为中文模型通过率gpt-4o-mini33.14%gpt-4o55.86%deepseek-V340.86%deepseek-R144.29%deepseek-70b29.00%claude-3.760.71%NASL领域模型训练—prompt方案评测•相比其它主流语言还有很大的提升空间•主要表现是幻觉严重，语法错误多•本质上是考验大模型的指令遵循能力•prom