Hive数仓数据迁移ApacheDoris离线实时一体数仓搭建-杨志宇

基于 Apache Doris数仓实时离线一体化探索杨志宇 大数据开发工程师Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024目录背景介绍01架构演进02最佳实践03未来规划04Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024背景介绍Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024数仓职能的基本介绍01 数据集成：把多个数据源的数据整合到一起，形成统一的数据存储链路。02 数据存储：存储大量的数据，对于一些业务大表日志同步到数仓进行备份，定时删除业务库历史日志数据， 减少业务库负载。03 数据查询：项目内部大表大范围在数仓上进行查询，分担业务数据库压力。04 数据处理：对数据进行清洗转化聚合处理，将数据转化为统一的格式，提高数据利用效率。05 数据分析：根据需求进行业务分析，为业务决策提供数据支持.Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit A