大模型工具学习-林衍凯

报告人：林衍凯单 位：中国人民大学 高瓴人工智能学院大模型工具学习YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024大模型带来智能涌现•学习大数据需要大参数，训练大参数模型需要大算力，计算量增长使模型涌现智能大模型随计算量增长而不断生出新能力大模型随计算量增长而产生能力阶跃2YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024大模型智能体：迈向通⽤的⼈⼯智能•美国《发现》杂志：过去十万年里脑容量不再增长，人类通过使用工具和分工协作达成能力延展，实现了人类文明的进一步阶跃式发展YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024使⽤⼯具是⼈类智能的关键特性之一•人类能力——工具使用 v.s. 人工智能——工具智能•工具改善人类生活条件，提高生产效率，推动科技和文明的进步•问题：人工智能是否具备与人类同样创造工具和使用工具的能力？YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024⼯具学习—前沿研究⽅向•OpenAI、Google等陆续发布WebGPT、ToolFormer等项目，证明大模型能够模仿人类使用搜索引擎、计算器等外部工具，达到了接近乃至超越人类用户的工具使用性能YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024⼯具学习——实现方法•示范学习：通过记录人类使用工具行为数据，大模型模仿人类行为习得工具学习能力•教程学习：通过让模型阅读工具使用手册（教程），理解工具功能及其调用方式•探索学习：模型能够通过自主探索，基于强化学习，根据环境反馈纠正错误1. 示范学习2. 教程学习3. 探索学习人类监督逐渐减少，模型自主化程度逐渐提高（用户点击序列：下翻页面、点击、键入等）（API手册、工具文档等）（API调用成功率，用户反馈等）YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024示范学习——WebGPT•模拟人类使用搜索引擎的行：点击、滚动、……•