3腾讯游戏-AI时代的湖仓数据体系建设

AI时代的湖仓数据体系建设刘岩腾讯游戏数据技术负责人腾讯游戏数据工程的挑战基于多智能体的需求构造AI驱动的湖仓资产体系可持续优化的工程平台系统演示01腾讯游戏数据工程的挑战1.1腾讯游戏数据发展—紧跟业务发展，以业务需求为核心以数据驱动业务变革，安全合规与成本治理。3.0 技术驱动创新逐步开始接入实时技术：datamore投入应用，决策对于数据时效性提出较高要求对于数据资产集中管理的进一步加强，河图数据治理平台全面升级标准数据治理体系建设：以业务应用为导向，数据管理规范3.0发布产业链布局和全面出海2015~Now数据平台演进游戏业务发展游戏发展初期，缺乏统一标准，游戏数据孤岛。从零起步一切从简，快速启动，MySQL读写分离、分库分表数据应用数据单位主要是G，数据分散在各个数据库，缺乏整体数据统计数据治理每年在游戏数量上翻翻，对接不同业务的游戏日志，标准难以统一1.0 基础功能完善阶段腾讯游戏以休闲品类进入市场2003~2007外部大厂纷纷投身网游，腾讯游戏基于绕道休闲品类打造QQ系列游戏，深耕社交流量重启游戏代理，同步自主研发率先完成“端改手”移动化，全面升级自研体系打造全品类矩阵，扶持游戏厂商，建立全球化发行平台，全面出海，推动电竞职业化、游戏IP化等业务持续扩张，数据驱动成为新的价值增长。2.0 平台构建阶段数据应用日志标准迭代推进，移动互联网数字化，精准分析，用户画像、买量与增长分析数据治理数据治理处于萌芽阶段，数据资产意识建立，数据管理规范1.0发布架构升级迁移到TDW数据仓库，完成数据的集中管理与统一分析以“代理+自研”后来居上2008～20141.2游戏业务对数据的需求➢现存游戏业务的数据挖掘/提取类需求数万个/年，数据挖掘是问题归因、分析决策、干预闭环的关键。业务对数据需求数据产品和服务经营分析（可视化）精细化运营（数据挖掘）辅助决策（预测）驱动业务（干预）数百个看板（框架+特性）数万个/年数据提取服务数十个算法服务数十个实时线上服务数据资产数据加工链路1%的数据表资产离线计算+数仓基于明细数据动态分层流式计算+湖仓一体特征和画像标签湖仓一体特征和画像标签流式计算+实时计算1.3如何更好地服务业务？➢AI要解决的问题不是仅仅是写SQL，而是从业务需求到数据结果的各个环节，需要建立AI环境下的工程平台和资产体系。业务需求数据结果口径对齐资产探查SQL代