徐彬-领域推理引擎-大模型不止于小作文

领域推理引擎-大模型不止于小作文徐彬 | 德邦证券徐彬算法架构师无双谱@知乎《实战深度学习算法》著者，多项智能算法专利发明人，CCF会员。研究方向为信用风险管控、复杂项目群管理、机器学习在特定场景的应用。历任平安银行应用架构专家，银行间市场清算所创新衍生品及利率产品项目群负责人。牵头完成多项证券业协会、交易所研究课题。机器会思考吗？目 录CONTENTSI.大模型应用现状II.问题和溯源III.应对：知识+多智能体IV.进阶：领域推理引擎V.总结与展望大模型应用的现状PART 01大模型应用的现状1.情景学习(In-Context Learning)模型通过阅读对话的历史上文，可以续写后续的回答，这个能力使得LLM有了"短期记忆"，可以和人类对话了。2.思维链(Chain-of-Thought， CoT/ToT)给大模型问题提示时，如果不直接给答案，而是给出推理过程，可以解锁语言模型对复杂问题的推理解决能力。3.自然指令学习(Learning from Natural Instructions）只需要使用少量自然指令针对对专项任务做微调，模型就可以得到很好的泛化能力。应用能力应用场景模型能力大模型应用的现状问题和溯源PART 02大模型的本质基础能力衍生能力辅助能力世界知识语义理解多语种编码指令遵从推理情景学习对话互动自我改进工具调用衍生能力指令遵从情景学习预训练语言大模型(LLMs)本质上是统计语言模型(SLMs)基础能力在规模法则(Scaling Law)作用下，衍生出更具落地价值的应用能力通过知识库和外部工具，进一步扩展了能力边界多智能体Multi-Agents，拆解任务，制定计划， 分头执行,如：独立与LLM交互，RAG、执行工具等等。任务分解：复杂问题分解为更小的问题规划：制定一组任务计划存储：之前完成的任务存储为上下情景知识工具使用：选择要使用的工具+使用工具的参数场景适应：提升螺旋问题和溯源新加披国立大学的学者分析认为，大语言模型的幻觉问题无法避免（Ziwei Xu et,al . 2024）。用包括客观事实、新闻、文学作品、学术、健康等不同类别的信息对ChatGPT做了测试，错误及虚假信息占比为75%（Zuying, et,al. 2023）。幻觉现象可以溯源到大模型底层的训练过程、训练语料构建方法。问题和溯源需要承认以下基本事实：➢以目前主流的训练