彭华聪傅汤毅-AI驱动的需求洞察与自动化闭环实践

AI驱动的需求洞察与自动化闭环实践彭华聪、傅汤毅| B站彭华聪B站资深测试开发工程师B站供给生态质量团队资深测试开发工程师。目前主要负责B站内容审核业务质量体系建设和探索。也曾任职阿里巴巴测试开发专家，负责过搜索、实人认证等产品从事质量工作十余年，经验丰富。傅汤毅B站资深测试开发工程师高级测试开发工程师，推进并落地了业务线自动化建设，流水线覆盖，有丰富的的服务端经验及平台建设经验。目 录CONTENTSI.背景II.问题/痛点III.解决思路/整体方案IV.具体实现/技术实践V.总结与展望背景PART 01行业背景工作量激增软件迭代周期缩短1-2周，测试工作量极速增长，人工测试难以满足效率要求。质量要求提升分布式架构的复杂性不断增长，面临的技术环境。对于稳定性、体验、资损等专项类保障期望逐渐增多成本压力显著人力成本上涨与质量高要求得矛盾要求需要技术手段优化投入产出比AI技术发展技术成熟技术成熟度显著提升，各类AI模型准确率不断提升基础完善AI服务从模型种类、基础服务提供等方面得到广泛应用。接入门槛大大降低广泛应用AI在自动驾驶、医疗等领域的应用取的可观的成效，为全面替代传统测试奠定技术基础。010203问题PART 02传统迭代模式的弊端新需求需求评审技术评审开发中手工用例评审提测/测试验收灰度发布线上巡检人工成本大维护困难容易遗漏用例评审需求评审提测测试测试用例人为编写需花费大量时间线上巡检传统UI自动化用例测试方式为DOM扫描维护成本高提测测试用例平台执行的接口自动化用例结果不稳定，维护投入大用例评审手工测试用例的一些临界点容易出现遗漏提测测试自动化用例的边界情况无法测试完全测试稳定性有限线上巡检传统UI自动化用例测试且易受前端迭代影响，不太稳定提测测试页面测试过程中需频繁变更账号或环境，手动操作各个环节，麻烦且费时排查不方便提测测试自动化用例的测试结果一旦出现报错，由于用例存在多个节点且有上下文依赖关系，难以快速排查出错误原因需求排期采用班车制，需求集中处理，人工评审、排期调整工作量大无法对需求新增或修改的接口自动化用例完成快速覆盖，人为新增需花费大量精力和时间解决方案PART 03解决思路业务逻辑工作流程工具平台数据测试能力学习&实践总结方案思考出方案Review基础资料执行验证思考过程执行过程执行验证结论整体思路：利用AI的学习和推理能力完成常态化的测试活