DeepSeek技术溯源及前沿探索报告

1浙江大学DS系列专题主讲人：朱强浙江大学计算机科学与技术学院人工智能省部共建协同创新中心（浙江大学）https://person.zju.edu.cn/zhuqDeepSeek技术溯源及前沿探索22一、语言模型三、ChatGPTOutline四、DeepSeek五、新一代智能体二、Transformer3Language Modeling对于任意的词序列，计算出这个序列是一句话的概率我们每天都和语言模型打交道：I saw a catI saw a cat on the chairI saw a cat running after a dogI saw a cat in my dreamI saw a cacar语言模型：终极目标4Sheismymom1000010000100001One-hot Encoding只有一个1，其余均为0One-hot Encoding有什么缺点吗？编码：让计算机理解人类语言语言模型：基本任务50.990.990.050.1…0.990.050.930.09…0.020.010.990.98…0.980.020.940.3…鲸鱼海豚鹦鹉企鹅游泳飞翔Word Embedding用一个低维的词向量表示一个词能使距离相近的向量对应的物体有相近的含义20维的向量用one-hot和word embedding的方法分别可以表示多少单词？编码：让计算机理解人类语言6Word Embedding结合句子语境我们可以猜测：tezgüino是一种由玉米制作的酒精类饮料 A bottle of tezgüino is on the table. Everyone likes tezgüino. Tezgüino makes you drunk. We make tezgüino out of corn.(1) A bottle of _____ is on the table.(2) Everyone likes _____.(3) _____ makes you drunk.(4) We make _____ out of corn.(1) (2) (3) (4) 1 1 1 1 1 0 0 0 0 1 0 1 1 1 1 0 tezgüinomotor oil