耿玄玄-沐瞳游戏出海数据集成探索实

演讲嘉宾：耿玄玄1第一章节 关于沐瞳2第二章节 沐瞳数据集成挑战3第三章节 沐瞳数据集成实践4第四章节 未来规划 上海沐瞳科技有限公司成立于2014年。公司总部位于上海，在新加坡、秘鲁、马来西亚、菲律宾、印尼等地设有分支机构。公司创立之初便立足于全球化游戏的开发，通过领先的研运优势，打造全球发行体系，已成功推出多款在海外具有高知名度的移动游戏产品，是最早一批致力于游戏出海的中国公司，也是拥有最多海外玩家的中国游戏公司之一。 旗下产品包括《Magic Rush: Heroes》《Mobile Legends: Adventure》《Mobile Legends: Bang Bang》 《Watcher of Realms》等。1第一章节 月活突破1.1亿数据千亿/日 累计下载量超10亿次 PB级数据1第二章节早期数据接入流程历史问题数据采集延迟高无msgid接入方式单一全球区域跨区域网络延迟高， 部分业务对延迟敏感多数据源不同日志平台和SDK数据格式不统一数据质量埋点测试与治理工具欠缺数据量大原数据上传链路的接入量级大， 高速上换轮胎面临的挑战1第三章节数据接入新项目：接入新日志平台和SDK老项目：对原链路改造，从日志服务器采集，通过RPC 协议实时上传到大数据网关，不影响业务。数据流数据源：数据源来自SDK、agent采集,CDC等数据网关：支持HTTP/GRPC，根据分流规则将数据写入不同kafka集群不同topic中数据流：数据经过网关分流策略后，将一个或者多个logID写到一个topic中。数据流组：同一个数据源的数据经过网关被分为多个数据流，那么这些数据流合在一起就是数据流组。消费任务：每个消费任务消费一个或多个数据流。消费任务根据管理平台配置规则对数据进行清洗并存储到不同的目标库中。 同一个组下的所有消费任务原则上处理逻辑是一样的消费任务组：消费相同数据流组下的消费任务则属于同一个消费任务组目标库：目标库是数据流在数据集成系统中的最终存储，StarRocks/Hive/Kafka等。核心模型网关分流数据集成任务基于flink实现，通过api请求定时更新source、sink、以及transform等配置信息。transform，通过管理平台配置pipeline规则，对数据进行一些列对清洗自定义sink，在sink中