史少锋从统一数据治理到下一代企业级DataAgent的实践与创新

从统一数据治理到下一代企业级 Data Agent 的实践与创新演讲人：史少锋Datastrato / VP of engineering关于我Datastrato VP of engineeringApache member, Apache Incubator PMC, Mentor of Apache Gravitino, Gluten, HoraeDB 等多个项目史少锋0102030405目录AI 时代的数据需求现有技术的挑战统一数据治理的价值企业级 RAG 和 Data Agent统一数据管理最佳实践AI 时代的数据需求AI 技术的应用激发企业对数据的旺盛需求AI 的应用重度依赖于数据；没有数据，AI 会成为无源之水、无本之木根据IDC估计，全世界的数据量将从2018年的 33 ZB，增长到2025年的 175 ZB。数据 – AI 应用的核心输入数据加工数据集模型向量提示词数据贯穿于 AI 应用的整个链路数据治理 – AI 应用中不可或缺的部分数据发现数据血缘数据治理数据安全不同组织之间分享和发现数据集、模型等数据之间的生成依赖关系等权限控制、加密策略、访问审计等数据标准、数据质量、数据生命周期等优秀的数据治理对 AI 的成功应用至关重要AI is Only as Good as your Data management is GoodGarbage in, garbage out!https://www.llamaindex.ai/blog/introducing-llamacloud-and-llamaparse-af8cedf9006b现有数据管理技术的挑战数据被锁定在不同的数据源中数据湖数据仓库消息队列向量数据库分布式文件系统传统大数据时代GenAI 时代结构化、半结构化为主非结构化为主数据被地域分割企业由单云单域架构向多云多域架构迈进数据合规的限制•不可避免的数据分割•跨云数据的传输成本•GDPR、CCPA 等要求•中心化的数据纳管已不现实数据被组织分割Sensitive InformationBusiness AKafka + AWS-ESOrder PaymentMysqlBusiness BKafka + RedisData EngineerInfra EngineerAI EngineerBusiness CKafka + Redis