佐思汽研2024汽车AI大模型TOP10分析报告59页

产业研究 战略规划 技术咨询2预训练语言模型预训练微调将模型在大规模无标注数据上进行自监督训练得到预训练模型将模型在下游各种自然语言处理任务上的小规模有标注数据进行微调得到适配模型AI大模型就是预训练语言模型通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型预训练语⾔模型“预训练 + 微调”技术范式⼤规模⽆标注⽂本数据模型预训练不同特定任务有标注训练数据模型微调测试数据最终模型从海量数据中自动学习知识ØBig-data Driven，模型基于大规模语料训练而成；ØMulti-tasks Adaptive，支持多种任务，包括自然语言生成NLG和自然语言理解NLU类的任务；ØFew-shot (Zero-shot)，在少甚至无标注样本的条件下支持推理（自监督学习）。产业研究 战略规划 技术咨询3大模型发展历程众多预训练模型相继涌现，OpenAI 以GPT2、GPT-3、ChatGPT 等系列模型为代表，持续引领大模型时代的浪潮Ø2017 年，Google提出Transformer 框架在机器翻译中取得显著进步，其分布式学习和强大编码能力受到广泛关注。Ø2018 年 Google 和 OpenAI 基于Transformer 提出了预训练语言模型 BERT 和 GPT，显著提高了NLP 任务的性能，并展示出广泛的通用性。AlexNet(图灵奖得主Hinton)CAN(Gioodfellow.图灵奖得主Bengio)Word2Vec(Google.引用78550)Attention(图灵奖得主Bengio)ResNet( MSR.引用183222)Transformer(Google.引用91332)BERT(Google)GPT(OpenAI)GPT-2(OpenAI)GPT-3(OpenAI)FoundationModel(Stanford)PaLM(Google)ChatGPT(OpenAI)ViT(Google)DALL E2(OpenAI)GPT-4V(OpenAI)ERNIE(百度)CPM(智源)GLM(洁华)201220132014201520162017201820192020202220222023跨模态模型预训练模型大模型计算机视觉自然语言处理认知感知来源：大模型驱动的群体智能行业白皮书产业研究 战略规划 技术咨询4大模型参数规模不断增长，推动