唐晓璇-基于MobileFlow的终端自动化测试效能跃升实践

基于MobileFlow的终端自动化测试效能跃升实践唐晓璇 | 蚂蚁集团唐晓璇蚂蚁集团-CIO MobileFlow 算法负责人 就职于蚂蚁集团，专注于研发效能优化方向，主要工作方向为AI驱动的研发效能体系创新。作为MobileFlow技术团队的算法工程师，聚焦多模态大模型与智能体技术的前沿探索，主要研究方向包括：1）视觉-语言联合建模在UI自动化测试中的精准指令理解与执行；2）LLM-basedAgent的复杂任务分解与动态规划能力优化；3）跨平台界面操作智能体的端到端自动化测试框架构建。为复杂场景下的研发效率与质量提升提供技术驱动力。目 录CONTENTSI.智能体发展的背景与趋势II.智能体评测通用痛点 III.蚂蚁MobileFlow平台介绍IV.MobileFlow平台多模态技术介绍 V.工业级场景落地与应用VI.思考与展望智能体发展的背景与趋势PART 01什么是基于大语言模型的智能体（LLM-based Agent）？基于大语言模型的智能体是一种能够自主感知环境、规划决策并执行动作的系统，其核心能力由大语言模型驱动。这类智能体通过整合语言理解、推理、记忆和交互能力，模拟人类在复杂场景中的行为逻辑，实现从任务目标到实际操作的全链路闭环。✓LLM 核心任务规划，推理，文本生成✓记忆模块存储历史状态和经验✓工具集：通过预定义接口调用外部工具（如数据库、API、代码执行器）✓执行模块：执行具体动作智能体交互流程示例怎么查询医保还有多少钱？自然的多模态交互•无缝接收用户的相关输入（如语音、文本、图像、生理信号等），构建完整的上下文感知能力•意图理解，需求分类，上下文感知，•将复杂目标分解为可执行的子任务并动态调整计划•自动化工具执行，并以用户友好的方式反馈结果（如可视化图表、语音总结）需求感知理解自主任务编排拆解工具执行并返回结果AI健康管家智能体常用场景在大模型和智能体迅速发展的背景下，智能体评测的方式也在不断进化。传统的评测方法已经难以满足移动端智能体和多轮对话系统的复杂需求，智能体评测升级成为必然的需求。AI健康管家生活管家宠物专家自驾出行助手智能体发展趋势单一模态输入更符合用户习惯的多模态输入基于工作流的大模型应用高自主性的智能体单一模型控制多智能体协同复杂度低，耗时短的任务复杂度高，需要调用多种工具完成的任务智能体应用评测通用痛点 PAR