谭杰轩-AI大数据打造新一代数据开发治理一体化平台

通明湖人工智能开发与应用大会Al+ 大数据：打造新一代数据开发治理一体化平台演讲人：谭杰轩腾讯云 / 资产大数据产品经理0102030405目录大数据 + AI前沿发展趋势趋势与痛点大数据+AI数据开发治理平台建设思路架构设计WeData一体化建设应用落地分享关键技术落地大数据+AI前沿发展趋势趋势与痛点大模型的机遇与挑战大模型大模型发展的基础是数据挑战。。。“幻觉”问题01数据不一致02数据安全问题03数据多样性不足04机遇智能对话信息检索医疗健康教育辅导风险评估内容生产大数据与AI充分协同头部厂商纷纷推出不同解决方案，加速大数据与AI的融合。•Google Cloud AI Platform：提供端到端的机器学习服务，包括数据准备、模型训练、模型部署和监控。•BigQuery：完全托管的数据仓库，支持大规模数据分析和机器学习集成。•Azure Machine Learning：提供机器学习模型的开发、训练、部署和管理服务。•Azure Synapse Analytics：集成了大数据和数据仓库功能，支持大规模数据处理和分析。•Amazon SageMaker：提供全面的机器学习服务，包括数据准备、模型训练、部署和监控。•AWS Glue：完全托管的ETL（提取、转换、加载）服务，支持数据准备和集成。•Databricks Unified Analytics Platform：基于Apache Spark的统一分析平台，支持大数据处理、数据科学和机器学习。•Databricks MLflow：开源平台，支持机器学习模型的管理、部署和监控。大数据+AI一体化平台建设思路架构设计在数据链路上需要将大数据和AI进行整合，消除数据孤岛，共享数据，加速数据的协作价值和流通，加速企业数据价值释放。整合数据链路无论是技术上还是业务上，都需要保障数据一致性，统一元数据可以保障数据的发现和理解，从而提高数据一致性和准确性。统一元数据在应对新技术与新应用的浪潮中，为充分应对AI与大数据时代带来的挑战，平台亟需强化数据安全防护体系，全面升级数据安全保障能力。保障数据安全大数据可以服务于AI，但AI本身也可以将先进的技术用到大数据平台上，从而提升智能化程度。提升智能程度Data+AI深度融合业务需求数据建模数据集成数据开发数据资产数据服务模型训练模型调参模型服务业务人员数据工程师数据科学