5腾讯音乐-StarRocks在腾讯音乐的大规模实践之路

StarRocks在腾讯音乐的大规模实践之路曹凤龙腾讯音乐专家工程师，业务运维中心总监010204QQ音乐数据仓库的演进历程StarRocks的存算分离模式在TME的实践QQ音乐数据仓库的演进历程01多维度&多场景运营&监控冷热&时效精细化&组件化2018-062021-122023-072024-03调研适配全面升级数据仓库的演进史StarRocks的存算分离模式在TME的实践02场景一、监控多维查询查询维度多，数据随机性强，即实时查询场景二、访问链路拓扑查询数据时效性高，并发高，查询条件相对固化相互影响耗时不稳FlinkOverlordsCoordinatorsZookeeperMysqlHDFSHistorical Nodes(Hot)Historical Nodes(Warm)Historical Nodes(Cold)Broker NodesQueryKafkaServerMiddleManagersPeonPeonPeonKafkaDC应用场景与数据服务框架场景三、业务日志流水查询数据时间跨度长，维度多，并发低组件多、维护复杂、排查慢页面查询为主、未开放自定义Historical 发生重启，恢复周期长数据份数多，成本高维护数据集群的挑战FlinkOverlordsCoordinatorsZookeeperMysqlHDFSHistorical Nodes(Hot)Historical Nodes(Warm)Historical Nodes(Cold)Broker NodesQueryKafkaServerMiddleManagersPeonPeonPeonKafkaDCFlinkKafkaServerKafkaDCCOSCNCNCNFEFEFEQuery组件少，维护简单，排查快支持自定义管理支持自动冷热分离、恢复周期短数据份数少，成本降50%+集群组件升级后的优势查询代理缓存FECOSMQ计算引擎转发服务MQMVETLCN指标数据链路数据可观测监控告警BI智能分析其他存储运营数据日志数据监控数据性能数据多维分析决策调度实时查询数据应用权限管理审计日志ETL任务 Routine LoadMV物化视图3873715负责数据同步、清洗等主要的数据摄入方式查询加速北京集群CatalogODSDWDDWS上海集群ODSDWDDWS公有云的数据集群基表masteri