腾讯云2025详解DeepSeek模型训练优化及数据处理的技术精髓23页

DeepSeek 是什么 DeepSeek是杭州深度求索人工智能基础技术研究有限公司推出的一款创新大语言模型。公司成立于2023年7月17日，由知名私募巨头幻方量化孕育而生。DeepSeek致力于开发和应用先进的大语言模型技术深度小助手聪明且低成本聪明强大能干中国本土AI深度思考联网搜索DeepSeek ：大语言模型的特点有哪些 ?内容 token 化大模型看到的世界与人看到的不太一样训练前需要将文本进行处理，比如切割称为Token的基本单元；比如问ai 一个英文单词 illegal 中有几个字母l，有些指令模型回答为2个；但deepseek r1 推理模型是可以回答正确！模型训练存在endtime大模型训练语料存在一个截止时间deepseek R1虽然是25年1月发布，但它的知识库截止日期是2023年12月，这就意味着ds可以提供在此日期发布之前的公开信息和常识；需要经过大量清洗、监督微调、反馈强化学习。但对于之后的新闻、事件变化、新事物则无法直接获取或验证。 解决办法是开启联网模式或提示词中 补充说明无自我认识无自我意识网上有个段子是“有人问deepseek你是谁，然后回答是gpt”目前AI 大模型不知道自己是谁，也不知道自己是采用什么模型。 除非是厂商在后期再微调、或再训练，如果大家问到类似的问题，可能目前的AI 大模型会回答错误。解决办法是少问 AI是谁、采用什么模型上下文长度限定记忆力有限AI 大模型目前的记忆力大概是64k ~ 128k目前AI 大模型均有上下文长度限定；deepseek r1 提供64k token上下文长度，对应中文的话大约3万~4万字。目前还不能一次性投喂太长的文档给它，比如：一本完成西游记、或者非常长的文档让它翻译，AI 它是没有办法完整读完 解决办法是分成多次投喂回答输出长度有限AI 大模型目前的回答4k ~ 8k，2000~4000字目前AI 大模型无法一次性完成万字长文，也无法一次性输出5千字，均是模型输出长度限制所致；如果是输出长文，可以尝试先让AI 大模型先生成一个目录，然后再根据目录输出对应模块；如果是长文翻译类，则多次输入，或者拆解后多次调用API 解决办法是将任务分解成多次2019年2020年投入10亿手握万卡2022年3月GPT 3.5发布布局集卡补充1： ChatGPT需要上万张 NVIDIA