猫眼电影
猫眼电影记者 王佳妮 报道P6F3X2M7T9QJ8L1B4WZR
GUI-Reflection 团队 投稿量子位 | 公众号 QbitAI
端到端多模态GUI智能体有了“自我反思”能力！南洋理工大学MMLab团队提出框架GUI-Reflection。
随着多模态大模型的发展，端到端GUI智能体在手机、电脑等设备上的自动化任务中展示出巨大潜力。它们能够看懂设备屏幕，模拟人类去点击按钮、输入文本，从而完成复杂的任务。
然而，当前端到端GUI多智能体的训练范式仍存在明显的瓶颈：当前模型往往使用几乎完美的离线演示轨迹进行训练，使得模型缺乏反思和改正自身错误的能力，并进一步限制了通过在线强化学习激发和提升能力的可能。
GUI-Reflection的核心思想是在智能体的各个训练阶段引入“反思与纠错”机制，这一机制贯穿预训练、监督微调和在线训练全过程，模拟了人类“犯错→反思→重试”的认知过程。
GUI预训练阶段：提出GUI-Reflection Task Suite任务套件, 将反思纠错能力进一步分解，让模型在预训练阶段框架让模型初步接触反思类任务，为后续打下基础。离线监督微调阶段：构建自动化数据管道，从已有离线无错轨迹中构建带有反思和纠错的行为数据，让模型成功习得反思纠错行为。在线训练阶段：搭建分布式移动端GUI学习环境，并设计迭代式反思反馈调优算法，让模型在与真实环境交互中进一步提升相关能力。
GUI-Reflection框架简介
GUI-Reflection 是一个贯穿训练全过程的框架，旨在系统性地赋予多模态GUI智能体以“自我反思与纠错”的能力。该框架由三大关键阶段组成，分别对应模型能力的认知启发、行为习得与交互强化：
1 GUI预训练阶段：启发反思相关能力
现有GUI预训练多聚焦于界面理解和操作感知，而忽视了反思相关的原生能力构建。GUI-Reflection 首次提出专为反思设计的GUI-Reflection Task Suite，包含三类关键任务：
Action Verification（动作验证）：判断某一步操作是否达成了预期目标，训练模型识别执行偏差。Action Reversal（动作回滚）：学习如何撤销错误操作，回退到正确的任务路径。Mistake-Informed Reattempt（基于错误的再尝试）：在明确过去错误的前提下，生成新的、改进的操作策略。
这些任务将复杂的反思行为分解为更细粒度的认知能力，使模型在预训练阶段即具备初步的“反思意识”。
2 离线监督微调阶段：自动化构建纠错轨迹
针对当前GUI数据集缺少犯错和纠错数据的问题，GUI-Reflection设计了一个自动化反思纠错数据生成管道。该方法从已有成功轨迹中自动构造出“带错轨迹”与“纠错行为”，实现数据维度上的“反思注入”。具体包括：
目标扰动生成错误行为：通过修改原始任务目标，使模型原本的动作在新目标下变成“错误”动作，并构建对应的反思错误行为数据。行为插入模拟失误：向成功轨迹中插入无效操作，让模型对无效错误操作做出反思并尝试新的正确操作。
整个数据增强过程无需人工标注，使得GUI模型在离线微调阶段习得了有效的反思行为。
3. 在线训练阶段：搭建反馈式反思回路
为了进一步提升模型在真实环境中的适应能力，GUI-Reflection构建了一个分布式安卓模拟环境，涵盖11个app和 215 个任务模板，支持高并发交互。基于此环境，GUI-Reflection设计了一种自动化迭代式在线反思调优算法：
成功轨迹将被细粒度验证，仅保留每一步的有效执行；失败轨迹则被自动定位错误步骤，并为该步骤自动生成前向修正（Pre-Error Correction）与后向反思（Post-Error Reflection）操作。
通过多轮训练迭代与动态采样策略，模型逐步优化其容错率、恢复能力与复杂规划水平。
实验结果
GUI-Reflection Task Suite测评结果
通过在构建的GUI-Reflection Task Suite上进行评测发现：
通用大模型（如 GPT-4o、Gemini）在GUI任务中具备不错的原生反思能力，能够初步识别错误并进行合理推理；小规�？茨Ｐ驮谡夥矫婺芰γ飨圆蛔悖绕湓诿娑允О懿僮魇蹦岩宰晕倚薷矗桓丶氖牵钟械谋曜糋UI预训练流程，反而会削弱模型原本具备的反思能力
当在预训练阶段引入反思导向任务数据，即使是较小规模的模型，也能显著提升其在反思相关任务中的表现，甚至达到接近闭源大模型的水平。
反思行为的有效性
在评测环境中进行实验后观察到：
在离线监督微调阶段引入反思类数据，可以显著提升模型的任务完成表现；进一步结合在线反思调优算法进行训练，模型的成功率持续提升，表现出更强的泛化能力与稳定性。
GUI-Relection-8B模型在AndroidWorld基准中也实现了 34.5% 的成功率，证明了GUI-Reflection框架的有效性。这一系列结果充分表明：在多个训练阶段显式引入反思机制，是提升GUI智能体能力的关键路径，而不仅仅依赖大规模演示数据或强模型本身。
反思行为样例
模型能够成功认识到之前操作的错误并采取对应操作进行回退。
对于不熟悉或不确定的操作，模型可以根据之前的错误做出新的尝试。
结语
GUI-Reflection为端到端多模态 GUI 智能体注入了全新的“自我反思”能力。从预训练、离线微调到在线交互，它系统性地打通了“犯错—反思—修正”的认知闭环，使模型在面对真实环境中的不确定性时，能够更加鲁棒、灵活地应对各种突发状况。
论文链接：https://arxiv.org/abs/2506.08012项目主页：https://penghao-wu.github.io/GUI_Reflection数据和模型HF链接：https://huggingface.co/collections/craigwu/gui-reflection-683c7fb964b44c0cca842290
代码仓库链接：https://github.com/penghao-wu/GUI_Reflection
??时事1：汤姆维的色角
??06月22日,第四届网络空间内生安全学术大会举办在即,
“林虎叔接下来怎么办？”二猛问道。
,强行扒开腿❌狂揉❌玩视频。??06月22日,杭州：民间龙舟队“二月二”开桨,
这样的原始宝术一出，这个地方顿时一阵大乱，诸多凶禽猛兽都惶恐，向着四方躲避。但也有凶狂者，更加嗜血，向前扑杀，决定先铲除这个大患。
,www成人🔞色情美女露,AV无码㊙️蜜桃,伊蕾娜的H漫画。??时事2：老师让我❌她我爽了一夜91
??06月22日,九部门：完善现代商贸流通体系 推动批发零售业高质量发展,
“那是一个巨大的足�。 �
,浴室里强做开腿呻吟的H漫画,《3D❌初音未来爆出乳液》,云曦被爆❌3D在线观看。??06月22日,飒！浙江女特警比赛视频出圈,
雪羽晶莹，离地三尺高，载着几人在山林中快去远去。他们是最后离开的一拨人，也是唯一一批安然无恙的人。
,武警体育生榨精XXXGAY网站,delicate霉霉,动漫同人18❌动漫免费。??时事3：yy4080院理❤论
??06月22日,贵州省侨办恭贺2024新春,
三要坚持学以致用。 各位村干部要联系各自的工作实际，学习上互相启发，生活上互相关心，工作上互相学习，互相交流，取长补短，共同提高四方面工作能力：一是富一方百姓的能力。牢记为人民服务，要明白权力是人民给的，应该从群众最关心、最迫切需要解决的实际问题入手开展工作，在充分尊重民意的基础上，明确发展思路，因村制宜，因势利导，千方百计发展村级经济，增加农民收入。二是解决实际问题抓落实的能力。要强化责任意识、大局意识，把上级的要求同群众的意愿结合起来，既对上负责又对下负责，找准两者最佳切入点，加强引导，解决实际问题。三是做好群众工作的能力。牢记党的宗旨，亲民、爱民、敬民、为民，能够经常走家窜户、谈心交心，学会民主选举、民主决策、民主管理、民主监督，新形势下做好农村工作，管理村务事务。四是保一方平安的能力。要牢记群众利益无小事，千方百计地化解矛盾，不推诿拖拉躲避，善于运用政策、法律和人格力量去做调解工作，促进了家庭和睦、村民团结和社会稳定。
,原神黄男男纯肉巨黄Gay动漫,像素JamesCabello下载,打美女屁股调教㊙️网站。??06月22日,中国驻美大使谢锋：中国坚持“开门”“修路”“挂钩”，与世界分享改革发展红利,
“你们知道喂养这样一头凶禽一天需要耗掉多少肉？食物对于我们自己来说都一直很紧缺，哪有多余的养三头庞然大物？”
,刘若琳被王强c到高潮,打屁股 和 鞭打 网站,爽⋯躁多水⋯快⋯深点无码。??时事4：扒开裙子美女狂揉动漫
??06月22日,济南出台两项科技金融地方标准 以金融“活水”滋养科创“金种”,
这群人不是很多，能有一百多号，但都是能征惯战之辈，尤其是几位头领，掌握有强大的骨文秘力。
,圣女当众被迫高潮H视频动漫,女同被出水玩具,9l视频自拍蝌蚪9l视频。??06月22日,五一档破15亿，多部影片超预期,
“你的族人没有给你介绍过这里的情况吗？初到虚神界，肯定会被送入这‘初始地’，在此修行圆满后，要借助符文通道才能前往更高层次的地域。你进来后，没事研究这通道作甚？而且还要挖走宝骨，真是……”有一个三十几岁的中年人摇头，耐心为他解释了几句，感觉相当的无语。
,动漫美女的隐私㊙️撒尿,国产精品扒开腿做爽爽的视频,把尿+失禁+镜子。责编：王艳红
审核：唐尧东
责编：杨珊珊