2得物-StarRocks存算分离在得物的降本增效实践

StarRocks 存算分离在得物的降本增效实践丁凯剑得物StarRocks负责人，8年OLAP研发经验，StarRocks Active Contributor，Apache Druid Committer010203Clickhouse 在大数据量下的困境从 Clickhouse 到 StarRocks 存算分离成果展示及未来规划01迁移背景背景丰富的场景OLAP 引擎在得物客服、风控、供应链、投放、运营、A/B 实验等大量业务场景，在报表、日志、实时数仓等应用场景都有广泛的应用。使用多种OLAP引擎引入和使用 OLAP 引擎的过程中业务选择当时最适合的引擎，现存云 上Hologres、ADB、Clickhouse 和自建Clickhouse、StarRocks 五种引擎产品目标统一引擎最终只保留1到2个引擎先把一套超过4000核的最大，业务最复杂的智能运营平台 Clickhouse 集群迁移到存算分离的 StarRocks02Clickhouse 在大数据量下的困境线上 Clickhouse 集群面临瓶颈集群用量大超过4000核存储超过500TB日常需要查询日/周/月/季/年 环比/同比，查询时间跨度长集群负载接近上限物化视图缺乏透明改写能力建立了40+物化视图由外部代码主动管理、创建物化视图、改写sql去查询物化视图在需要重刷历史数据时，由外部代码管理的物化视图的重刷复杂缺乏离线导入功能导入链路存在格式转换，效率低，占用大量 Clickhouse 集群资源扩容困难Clickhouse 单机规格已是顶配，没有升配空间按指定字段分桶的表，扩容后需要重导数据才能保证正确性，需要一周的停服扩容和导入只能搭建一个主集群一半大的备份集群，存储最核心的数据，与主集群构成双活来分流部分查询，来减小主集群负载，这样增加了50%+成本。03基于 StarRocks 降本增效存算分离带来成本下降单副本模式数据存储在远端，不担心丢失比3副本存算一体降低2/3存储成本扩缩容无需搬迁数据扩缩容无需均衡，扩容新节点可以马上利用只缓存必要数据不需要把所有的数据都存储在本地盘，而只需要缓存常用数据大量使用物化视图，减少基表实际需要存储在data cache中的数据量命中 data cache 时性能与存算一体相同经过评估存算分离部署模式能带来40%+的成本下降。更好易用性Clickhouse