张兵全-腾讯视频推荐端云一体化架构

例：支撑海量数据的大数据平台与架构例：茹炳晟例：腾讯Tech Lead，腾讯研究院特约研究员正文要求：微软雅黑：最小字号8号宋体：最小字号10号等线：最小字号12号腾讯视频端云一体推荐架构张兵全腾讯Tech Lead，腾讯高级技术专家CONTENTS目录1.背景-搜广推应用场景与架构2.挑战-业务与技术的3.架构-端云一体化架构技术拆解4.应用-端云一体的应用场景5.展望-更优的发展方向搜广推应用场景背景-搜广推应用场景搜广推为例特点：解决“人”与“物品”之前的匹配关系n搜索：显示意图，最直接的索取资源方式，需求准确、相关n推荐：隐式意图，刻画用户模型，解决兴趣问题。n广告：商业化助手，挖掘用户转化率最高的物品。目标亿/千万级以上十万级千百级个位物品人群本质：漏斗的最优解原始目标：匹配程度最高Ø算力足够大Ø效果足够好Ø反馈足够快Ø成本足够小算力实时成本不可能三角渲染展示层流量接入层逻辑服务层接口数据层存储数据层推荐-后台架构推荐-近离线数据架构离线/近线数据如何生产？n通过数据channel将数据异步上报至大数据平台n经过ETL处理、样本拼接和落盘n经过训练或者画像加工n产出不同时限的模型、embedding和各类画像数据n分别写入不同的存储推荐-近离线数据架构lambda架构的画像中心基于Item序列基于Cate1基于Cate2基于CP全场景场景X场景Y场景Z…最近XX天最近TOPX中期长期RedisRedisRedisRedisRedis…基于Tag链路长冗余多复用少存储散感知弱成本高碎片严重播放曝光基于Lambda数据架构生产的画像特点：n通过日志产出画像，存在日志丢失情况n数据链路过长，生产长尾时间过大，实时性差n正排信息变更无法实时更新n需求迭代流程长，相关系统多，涉及团队多挑战挑战-业务与技术当前推荐遇到的业务难题一、时效性问题1、用户正负反馈跨多刷延迟2、日志上报通道长尾有分钟（P95）到小时级延迟二、成本和性能问题1、默认上报通道计算链路长，还需要离线join各种数据。三、稳定性问题1、后台发布难以立即感知终端的问题架构难题：?如何毫秒级捕捉用户行为?如何避免日志丢失导致的画像不足问题?如何缩短画像迭代开发周期解题目标高实时毫秒级捕捉端上动作缩短计算链路高效率减少烟囱式开发缩小跨团队交互低成本减少数据冗余减少存储碎片端云一体化推荐架构存算一体化集中式