CMF：2023中国宏观经济专题报告：大模型：原理、进展及其影响

大模型：原理、进展及其影响主办单位：中国人民大学国家发展与战略研究院、中国人民大学经济学院、中诚信国际信用评级有限公司承办单位：中国人民大学经济研究所大模型：原理、进展及其影响报告人：文继荣中国人民大学信息学院院长中国人民大学高瓴人工智能学院执行院长国家高层次人才2023年9月目 录一、大模型的背景和原理二、大模型的飞速发展及趋势三、大模型的深刻影响 •OpenAI 公司开发的大型语言模型–通过从大规模语料库中学习语言规律，从而生成与人类语言相似的输出•表现为一个对话机器人，能够理解自然语言，进行高质量的多轮对话–拟人化程度惊人，被认为是人工智能里程碑式的突破ChatGPT开启了大模型浪潮比尔盖茨：ChatGPT的重要性不亚于互联网的发明2022年11月30日发布，5天获得100万用户，今年1月份月活跃用户数达1亿ChatGPT的特点•上知天文、下知地理，不仅能写文章、还能写代码知识广博•能有逻辑地组合知识形成答案，具有一定的推理能力有条有理•能准确理解用户意图，三观比较正，并且承认自己不知道善解人意•在多轮对话中不走神，交互聚焦主题交互能力强理解人类语言是人类探索文明发展的重要目标6哲学计算机假设：世界知识和人类认知能力蕴含在人类语言中问题：•可以对人类语言建模吗？•语言模型是否能作为世界知识模型？•语言模型是否具有人类认知能力？世界与语言高瓴人工智能学院是中国人民大学下属学院……高瓴人工智能学院是中国人民大学下属学院……人脑（神经网络）语言模型（人工神经网络）生成训练生成语言模型是对人脑的反向工程语言智能的探索历程8符号规则统计机器学习神经网络预训练语言模型超大规模语言模型给定一组人工设定的规则，计算机通过对数据应用这些规则来模拟自然语言理解在人工标注的数据上进行特征工程，训练机器学习模型参数，并将模型应用于测试数据上用神经网络在大量数据上训练，使得网络自主学会提取特征，并可以灵活搭建模型基于无标注文本预训练语言模型，通过“预训练-微调模式”工作，有监督学习通过扩展语言模型规模，可以通过提示学习、情境学习等无需微调方式求解任务有监督学习任务泛化性弱 仍需要监督学习任务泛化性改善 无/弱监督学习一定的通用能力初始的自动化解决尝试语言模型的演进图9统计语言模型神经语言模型预训练语言模型大语言模型任务求解能力1990s201320182022word2vec、