KnowCoder知码大模型基于编程的知识抽取融合与问答

李紫宣大数据分析系统国家工程研究中心中国科学院网络数据科学与技术重点实验室智能算法安全全国重点实验室KnowCoder知码大模型——基于编程的知识抽取、融合与问答YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024目录一、知码大模型概览二、基于编程的统一信息抽取技术三、基于编程的两阶段知识融合技术四、基于编程的自进化知识问答技术五、总结2YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP202401KnowCoder知码大模型概览YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024知识是实现智能的主要手段知识实现智能行为的主要手段–经典知识工程：经典知识工程（知识库+推理机）–深度神经网络：通过学习从数据中习得知识知识如何表示与处理？知识表示：结构+符号知识处理：推理机知识表示：纯文本知识处理：搜索引擎知识表示：模型参数知识处理：模型参数YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024大模型知识表示与处理的问题大模型是知识模型与推理模型的混合体Ø通过统一模型架构以及海量数据训练，实现了知识学习与获取Ø通过ICL、指令学习的方式实现知识的处理与调用• 知识的事实性问题：大语言模型的幻觉问题• 知识激活的鲁棒性问题：大模型的规则/指令遵循能力• 逻辑推理、数值运算问题：基于概率统计的语言模型难以实现基于逻辑推断的逻辑、数值运算• 知识更新难问题：海量参数难以更新[1]大语言模型中的知识探索.刘康[2]大模型时代的知识处理：新机遇与新挑战.陈华钧YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024KnowCoder知码大模型神经符号知识编程程式推理将部分知识从大模型参数中解耦并结构化，通过程序语言统一表示该部分知识，最终将大模型的推理过程转化为程序执行过程部分世界知识结构化结构知识代码化推理过程程序化Scaling in the service of reasoning & model-based MLYoshuaBengioYSSNLP2