张涛-AI生产力工具产品构建提效实践

AI生产力工具产品构建提效实践张 涛 | 商汤科技 小浣熊家族张涛商汤科技 小浣熊家族技术负责人商汤科技小浣熊家族技术负责人，主导了小浣熊家族的应用落地全进程，对AI应用落地有深刻的理解和丰富的实践经验。以代码模型为产品AI能力基底，小浣熊家族一方面为原生的开发者场景提供了AI编程助手产品，代码小浣熊；另一方面，也破圈地将代码能力作为AI工具，拓展产品能力边界，为办公人群提供了AI生产力应用，办公小浣熊。这也使得小浣熊家族成为了国内极具特色的AI生产力系列产品。目 录CONTENTSI.初代架构：AI作为能力提供者II.架构趋势：AI原生系统的演进方向III.落地实践：技术到场景的穿透路径IV.风险与挑战：技术演进暗礁初代架构：AI作为能力提供者PART 01模型性能与模型能力的限制基座模型：性能高速提升，成本骤降产品设计：有战略前瞻性的产品立意产品研发：全路径持续可用，持续演进单点突破，解决特定场景需求单点突破，解决特定场景需求垂域模型代码解释器大语言模型NL2SQL•COT能力，复杂分析分步骤完成分析，提高准确率•反思能力，执行过程中根据中间结果反思修正分析过程•分析计算能力，生成代码执行，代码擅长数据分析计算•大语言模型根据概率预测下一个token，不适合数学计算和统计分析•数据内容需要完全放在对话上下文中，大数据量分析因为上下文窗口大小限制无法支持•无分步执行过程，复杂分析需求一次性生成复杂SQL语句执行，准确率低，且无反思能力•只能利用数据表Schema信息，无法利用数据内容进行分析VSVS代码解释器更强的理科计算能力更强的数据分析能力中国最优秀的代码解释器*✓支持多种数据源✓支持跨文件分析✓支持多轮对话✓支持至少32K上下文嵌入AI，解决过往系统中的盲点有限的能力扩展上的努力外部系统任务规划数据分析办公小浣熊Web 应用互联网信息知识管理RAG向量索引标量索引长短期记忆文档规范RAG向量索引标量索引标准流程子任务拆解报告生成动态模板工作空间RAG向量索引增量更新项目文档文档附件RAG向量索引增量更新外部资料代码执行数据可视化显式资料引用意图预测有限的能力扩展上的努力外部系统代码补全技术问答代码小浣熊IDE互联网信息云端文档RAG向量索引标量索引Wiki系统内部框架RAG向量索引标量索引第三方库结构化代码补全模板动态模板工作空间RAG向量索引增量更新项目文