刘云-大模型在B端落地思考实践

刘云360产品体验总监大模型在B端落地思考实践2024 全球产品经理大会AI在B端应用的重要性具备的挑战思考框架成功案例展望与机遇AI在B端应用的重要性AI是企业发展新质生产力的基石AI帮助企业战略价值、创收创利、降本增效B端有效帮助企业重塑业务优化运营数据来源：《亿欧智库》AI发展从“技术导向”迈向 “价值导向”· 特斯拉 Optimus 进场打螺丝，重塑制造业工作流程大模型在可控、模态、基础能力、体量上逐渐进化,解决更多不可能问题大模型加持特斯拉FSD操控更像老司机，重塑出行价值链已部署大模型企业，55%已经看到清晰价值大模型加持 Optimus 进场打螺丝，重塑制造业生产三要素数据来源：《信通院》《中关村产业研究院》具备的挑战 海量数据垂直领域数据模型算力需求物理算力大模型时代三大挑战 大数据、大算力、大工程训练优化推理优化RAGAgent高质量数据•难点：训练一次所需数据越来越多•Llama3使用15B数据进行训练•难点：获取高质量数据越来越难•趋势：人工标注转向合成•需求：类型越多越好•难点1：垂类数据数量有限•难度2：质量难以评估•难点3：且散落在各个孤岛之中•结果：通用模型很难进入行业等垂类领域•模型大小和算力需求：呈非线性增长关系•实际算力新增跟不上模型新增算力需求挑战3：大工程•支持DP，PP，TP，SP等多种并行方式•降低预训练算力和显存需求，提升训练效率，降低成本•长短记忆→工具使用→• 规划逻辑→专家Flow•支持32k上下文•支持200+工具同时使用•function并行调用•信息抽取→版面分析→实体识别→文本分类→知识推理•已开源350k长文本能力•量化、模型剪裁、压缩KV…•大幅降低推理资源消耗挑战1：大数据挑战2：大算力市场认知&行业Know How&数字化水平· 认知严重不足：部分企业并不认可大模型能力· 认知预期过高：客户对大模型能力有较高预期，预期为直接AGI化· 大模型企业对B端行业Know How理解不够深入· B端企业数字化水平影响大模型场景落地效果能力认知行业Know How数字化水平360数转智改并行方法论适合不同企业情况的分阶段数转智改体系360提出了数转智改的分阶段体系通用模型：智脑7K模型开源国家人工智能标准化总体组大模型专题组联合组长单位中国人工智能产业发展联盟安全治理委员会副组长单位首批通过国家大模型