女生名叫黄蒲军校

机器人终于学会了“用手感受”：马里兰大学等机构联合研发的触觉残差学习系统，让视觉机器人从“看着做”进化到“摸着做”_我的网站

A |     2026年的暑期旅游市场，呈现出冰火两重天的奇特景象。

B | 一方面，铁路客运量突破4.3亿人次，刷新历史纪录，热门景区挤得水泄不通；另一方面，超2400家传统旅行社集中注销关门，将近1万家门店贴出转让告示。    曾经日进斗金的顶流目的地客运利润腰斩，许多民宿床位空置。    这项由马里兰大学（University of Maryland, College Park）与佐治亚理工学院（Georgia Institute of Technology）联合完成的研究，于2026年7月4日以预印本形式发布，论文编号为arXiv:2607.03723，研究方向归属于计算机科学的机器人学领域。感兴趣的读者可以通过该编号在arXiv平台查阅完整论文。游客明明还在路上，为何旅行社却倒在了路边？     归根结底，游客变聪明了，他们拒绝为没有价值的中间环节和坑人套路买单。过去几十年，许多旅行社靠着信息差赚得盆满钵满，如今高铁修到了家门口，旅游攻略触手可及，老算盘彻底失效了。         **一、机器人为什么老是"差那么一点点"**          现实生活中，有一类任务看似简单，实则极难完成——比如把充电器插进插孔、拧开瓶盖、或者把一根棍子插进一个刚好比它大一点点的孔里。人类做这些事情时，眼睛固然会提供大致的方向感，但真正决定成败的往往是手指尖传来的那一点点细微感觉：插进去了没有？有没有卡住？是不是需要稍微转个角度？          对于机器人来说，视觉系统就像是一双很好用的眼睛，可以看清楚东西在哪里、大概朝什么方向移动。

C | 但是，当机器人的夹爪真正触碰到物体的那一刻，纯粹的视觉信息就有些力不从心了。接触力是多大？接触的几何形状是什么样的？需要往哪个方向微调？这些关键信息，摄像头根本没有办法直接测量到。正因如此，那些需要精密接触的任务——也就是研究者们所说的"接触丰富型操作"——对机器人来说一直是个大难题。         马里兰大学和佐治亚理工学院的研究团队决定从人类学习的经验里寻找解法。一个人学打羽毛球，可以通过看视频来了解动作要领和战术套路；但真正打好球，必须通过大量实际练习，用手腕去感受每次击球的力度和角度。    更有甚者，长期依赖不合理低价游收割游客，把行程变成了赶集式的购物开会，最终遭到市场的无情抛弃。那些靠套路活着的机构，被淘汰出局纯属咎由自取。         社交平台上曾经涌现出一批让人觉得匪夷所思的旅游产品，0.1 元香港一日游、1.98 元游玩香港，还号称包吃包车。视觉提供的是"大方向"，触觉和本体感觉提供的是"最后一公里"的精确调整。基于这个类比，这个团队提出了一套名为**OMNITACTUNE**的系统，让机器人先靠视觉学会任务的大致流程，然后通过"用手摸索"来精修那最难的接触阶段。要知道在香港，仅仅乘坐一站地铁就要花费 4 元，低到这个地步的旅游产品，难免让人怀疑这是不是一场骗人的把戏。

D |     带着猎奇心态，也为了实地体验，有人联系上售卖 1.98 元香港一日游的旅行社。对方给出的规则很明确，1.98 元的极致低价，仅仅开放给三十周岁以上的旅客。

E |     三十周岁以下的游客，香港一日游收费 18 元，澳门一日游收费 30 元。对比港澳当地居高不下的物价和交通开销，这样的报价依旧低得不合常理，也值得亲身实测一番。    经过完整跟团体验之后可以发现，这类低价旅行团全程充斥各类套路与心理引导，但并不会出现强制消费。只要游客自身自控力足够强，它确实可以变成一次性价比很高的出行。

F |     对于第一次踏上港澳土地的人，它能够快速建立起对当地的基础认知。对于已经多次来过港澳的人，它更近似于一张包含一顿午餐的廉价跨境交通工具。         透过完整的跟团经历，就能够看清低价团完整的盈利逻辑。         **二、视觉大数据与触觉小数据之间的鸿沟**          要理解这项研究的意义，先得了解当前机器人学习领域的一个根本矛盾。

G |          近年来，视觉数据变得越来越丰富。那么，这种标榜低至1.98元的旅行团，到底是如何一步步把游客带入预设的赚钱环节中的呢？     早上八点半的莲塘口岸，到处都是赶团出行的游客。导游举着手绘制作的各色小旗子，呼喊集合的声音此起彼伏。    这次参与的旅行团配备两名导游，整个队伍由接近三十个家庭组成，总人数将近四十人。和大众固有印象里满是老年人的低价购物团不一样，这个团三分之二都是年轻人，不少是学生模样，还有外地过来游玩的游客，绝大多数人都是第一次前往香港。

H | 研究者们可以用人类操作的视频、远程操控的机器人录像，甚至海量的互联网图片来训练机器人的"眼睛"。这些数据量庞大，种类繁多，让机器人在"看"这件事上变得越来越厉害。    过关登上旅游大巴之后，导游站在车辆前方，没有多余寒暄，直接宣读跟团的各项规则。然而，触觉数据就完全是另一回事了——采集触觉数据需要专用的触觉传感器，每种传感器产生的数据格式不同，一个任务收集到的数据换到另一个任务又得重新来过，更别说换一台机器人了。内容包含极其严格的时间要求，各个景点具体的集合位置，还有香港当地对于乱扔垃圾、公共场所吸烟的高额罚款规定。

I | 目前触觉数据集的规模，与视觉数据集相比，差了不止一个数量级。    一番讲完，车厢之内的氛围瞬间紧绷起来。在这个看似严苛的港澳一日游开局里，导游的真正目的其实是为接下来的心理博弈做铺垫。

J |          讲完规则，导游开始算起一笔旅游开销账。这趟一日游一共包含十一个景点，黄大仙庙、西九文化公园、香港故宫文化博物馆、尖沙咀、太平山顶、紫荆广场、天星小轮、钟楼这八个景点本身免费。

K |          这就造成了一个现实困境：视觉策略可以靠大数据训练得很好，但在接触阶段频频失败；而引入触觉反馈虽然能解决接触问题，却又因为数据匮乏而难以泛化。    维港夜游、游船观光巴士、落日飞车以及杜莎夫人蜡像馆，这三个项目属于自费选择。导游给出测算，如果游客不跟团，自己走完这十一处点位，把交通、门票再加上一顿午饭全部算进去，最少也要花费六百元。         研究团队的核心洞察在于：我们不需要把触觉数据也扩展到视觉数据那个量级。    随即导游抛出观点，来到香港之后，如果什么自费项目都不报名，那这一趟出行和白来没有区别。面对还在犹豫的游客，这名中年男导游很擅长输出类似成功学的说辞。触觉和视觉在操作任务中扮演的角色本就不同——视觉负责全局规划，触觉负责局部修正。既然如此，何不让视觉策略承担宏观引导的角色，然后只让一个小巧的触觉"修正模块"来处理接触阶段的细微调整？这就是OMNITACTUNE的核心思路：**把触觉学习当成对已有视觉策略的"残差修正"**，而不是从头重新学一套新策略。    外出旅游，这也不报那也不报，那来香港的意义是什么。

L | 来到香港，就应当让自己玩得尽兴。

M |     尤其是年轻人，更要舍得花钱增长见识，见识不够格局就打不开，眼界受限，未来人生做选择的时候就容易出错。在一遍又一遍白来一趟的心理攻势之下，车厢里的气氛慢慢发生变化。         很多第一次过来的外地游客和学生，还来不及提前上网查阅旅游攻略，内心已经开始动摇。         所谓"残差修正"，可以理解为这样一个场景：你已经有一位经验丰富的厨师（视觉策略）负责整体烹饪流程，但在最后收汁的关键时刻，需要一位专门负责火候感知的助手（触觉残差策略）来做最后的精细调整。助手不需要重新学整道菜的做法，只需要在关键节点上补充主厨感知不到的信息。         **三、两阶段流程：先"看着练"，再"摸着改"**          OMNITACTUNE的整个工作流程分为两个主要阶段，可以用运动员学习新动作的过程来理解。         第一阶段叫做"热身启动"（Warm-start）。

N | 最终车上不少人都选择报名一到两个自费项目，就算预算有限的人，也咬牙买下 150 元的维港夜景游。    只有少数有经验的游客，始终没有被说动。当游客的心理防线被成功突破，旅行社最核心的赚钱机器也就正式启动了。

o |     上午的行程只有黄大仙庙，所有人仅仅有二十分钟匆匆参观。

p | 在这个阶段，机器人完全按照已有的视觉策略来行动，不做任何改变，但同时打开触觉传感器，默默记录下每一次交互中触觉传感器感受到的信息。

q | 结束之后团队来到一家定点合作餐厅吃午饭，八菜一汤，人刚凑齐一桌，菜品就快速端上桌。

r | 这就像一位新来的助手跟着主厨观摩学习，虽然还没有动手操作，但已经在积累对这个厨房、这道菜的感知经验。    单纯从口味来说，饭菜的品质普通，同桌吃饭也没有使用公筷。但考虑到整个团费的低廉，游客也很难再提出更高要求。         这个阶段的目的不是立刻改善表现，而是做三件准备工作：填充"经验池"（也就是回放缓冲区），让之后的学习有素材可用；训练一个能判断"当前触觉信息对应什么结果"的评价网络（称为"评论家"或Critic）；以及针对当前任务微调预训练的触觉编码器，让它能够更好地理解这个任务特有的接触模式。    同行的团友也没有过多抱怨，吃饭的速度都很快。

s | 坐在旁边的一位女孩一边快速吃饭，一边低声和身边同伴交流，一定要多吃填饱肚子。    不然到了市区，随便一碗面食就要七八十港元，消费实在太高。

t |          午饭结束，团队用二十五分钟，走马观花浏览西九文化公园以及香港故宫文化博物馆的外部建筑外观。    之后大巴开启了一种固定模式，在车上听导游讲故事，下车就前往购物点位。         为什么这三件事缺一不可呢？如果直接跳过热身就开始学习，评价网络因为没有数据而无从判断好坏，触觉编码器因为没有针对当前任务微调而产生"表征偏移"（简单说就是：它提取出来的触觉特征跟任务实际需要的特征对不上），整个学习过程会极不稳定。导游在车上讲述香港药品的各类优势，提及香港本地人长寿和药品之间的关联，反复提醒游客香港水货数量很多，千万不要随便在街边小店购买东西。    抵达尖沙咀之后，整队人被带到一处指定的奥特莱斯免税店，留给大家购物的时间限定三十五分钟。研究团队将这个缺乏热身的对照方法称为PLD*，实验结果证明它的学习曲线确实更曲折、最终表现也更差。时间结束，大部分游客手上都提着大大小小的特产包装袋。    本身没有购物打算的游客，这三十多分钟时间，可以自行在尖沙咀就近吃一顿麦当劳解决饮食。购物环节完成之后，剩下的行程基本就围绕自费项目不断流转。         热身阶段还有一个巧妙的数据增强技巧：利用一个叫做ControlTac的触觉图像生成工具，对每一段真实收集到的接触轨迹，额外合成两段虚拟的触觉轨迹，模拟不同的接触力和接触位置。    没有报名杜莎夫人蜡像馆的游客，只能在太平山顶的商场内部原地闲逛。这相当于厨师助手观摩了一次真实操作之后，在脑海中又演练了两次"如果力道更轻一点"或"如果角度稍微偏一点"会是什么感觉，从而大大扩充了学习素材。         第二阶段叫做"在线残差强化学习"（Online Residual RL）。来到天星小轮码头，没有选购落日飞车项目的游客，只能在路边或者海边原地等候。    到了邮轮码头，放弃维港夜游的游客，大多坐在码头的长椅上消磨时间。每一个自费项目对应的等待时长，大概在一小时左右。

u |     一直到晚上八点出头，自费游船项目全部结束，大巴才重新接上全部饥肠辘辘的游客。这时，机器人开始真正地边做边学。每一步行动的最终动作，是视觉策略给出的基础动作加上触觉残差策略给出的修正量，就像主厨的手法加上助手在关键时刻的轻轻一推。车子行驶一个半小时返回莲塘口岸，回到深圳的时候已经是夜里十点之后。         相比于香港高强度的赶场，同属港澳一日游范畴的澳门路线，则展现出了另一套更为隐蔽的营销话术。如果说香港一日游全程都在不停赶场，节奏紧凑，澳门的同类型旅行体验，整体会相对轻松不少，走完完整行程，能够看到一套很有代表性的运营剧本。

v |     早上六点半，游客分别在大剧院、深大北门、宝安中心地铁站等点位集合完毕。触觉残差策略通过反复与真实环境交互、根据任务是否成功来不断优化自己的修正能力，这正是强化学习的核心思想。大巴沿着深中通道行驶，抵达港珠澳大桥公路口岸。

w |          为了安全起见，修正量被严格限制在一个较小的范围内，并且通过一个逐渐放大的调度器来控制：一开始修正幅度很小（0到5%），随着学习进行逐步增大（最高到15%）。这确保了早期探索不会因为修正过猛而损坏设备或破坏任务。

x |          此外，研究团队还引入了一个"接触门控"机制：只有当触觉传感器检测到实际接触时（通过传感器标记点的位移量来判断），触觉特征才会被输入到残差策略中。在没有接触的时候，机器人完全跟随视觉策略，不做任何触觉修正。这防止了机器人在还没接触物体时就"过度依赖"触觉信号而做出错误动作。    在关口，队伍被拆分成多个小组，交接给澳门本地导游，过关之后换乘澳门当地的旅游大巴。         **四、让机器人知道"做得好不好"：多感官奖励设计**          强化学习的一个核心问题是：机器人怎么知道自己做得好还是不好？在真实世界中，这个问题比在模拟环境中难得多——不能每步都人工标注，但奖励信号又必须足够密集，才能让学习高效进行。         OMNITACTUNE设计了一套综合视觉和触觉信号的多感官奖励系统。整体奖励由四个部分组成，不同阶段侧重不同。         在机器人还没抓住物体之前，"接近奖励"引导末端执行器靠近物体的初始三维中心位置，距离越近奖励越高。这相当于给机器人一个路标：先朝着目标走过去。         抓住物体之后，主要的引导来自"流奖励"。澳门这边导游的讲解水准，明显要高出香港的导游。    去往市区的路上，没有一上来就强调条条框框，而是用客观又充满猎奇色彩的表述，介绍澳门这座城市的种种特点。

y | 这里的"流"指的是物体关键点的运动轨迹——研究团队用视觉方法在演示视频中追踪物体上的一组关键点，生成一条预测的运动轨迹，然后用机器人实际操作中物体运动轨迹与这个预测轨迹的吻合程度来给分。具体而言，预测轨迹被稀疏化为若干个"子目标"，机器人每到达一个子目标，奖励就增加一级，并切换到下一个子目标。

z | 澳门地域狭小，大量土地被赌场占据，赌场向政府缴纳高额税收，政府每年都会给本地居民发放分红补贴。

|     外地人想要拿到澳门身份，婚嫁几乎是唯一途径。只要本地居民银行存款不足五十万，名下没有房产，政府就会安排近乎免费的廉租房供其居住。

| 这让奖励信号变得既稠密又有方向性。

|     生育孩子能够拿到对应的补贴，三岁之前奶粉相关开销都有保障，同时还推行十五年免费义务教育。听完这些内容，车上不少游客都发出羡慕的感叹。

|          导游很快话锋一转，揭开这份福利背后现实的一面。很多本地人刚刚拿到政府发放的一万补贴，转头就走进赌场，把钱全部挥霍干净。         触觉信号贡献两类奖励。

| 一是"抓握奖励"：触觉传感器接触面积内的深度值超过阈值，说明抓握稳固，给予正向奖励。

| 二是"安全惩罚"：如果触觉传感器检测到的标记点位移超过安全阈值，说明接触力过大，立即终止当前轮次并给予大幅负奖励，机器人自动复位。    在导游口中，澳门本地人只要不去沾染赌博，生活质量会十分优越。

| 在建立起高度信任后，导游终于亮出了低价团赚钱的另一件秘密武器。

|          这四部分奖励通过加权归一化组合成一个介于0到1之间的综合分数，当任务完成时额外给予1分的"成功奖励"。

| 这样的设计让机器人在每一步都能获得有意义的反馈，而不是在黑暗中等待偶尔成功的瞬间。         **五、视觉策略从哪里来：多种"眼睛"的训练方式**          OMNITACTUNE设计为"策略无关"（Policy-Agnostic），意思是它不限定必须和哪一种视觉策略配合，任何已有的视觉策略都可以作为基础。    团队匆匆打卡完大三巴牌坊与妈祖庙之后，整套行程真正的环节正式开启。

| 在开往定点合作餐厅的路上，导游主动聊起导游身上佩戴的黄金首饰。    导游摸着脖子上面的金项链，笑着向全车人发问，看到导游佩戴这么多黄金饰品，是不是就觉得澳门本地人都十分富裕。研究团队实际测试了四种不同来源和架构的视觉策略。事实并不是这样，本地人日常几乎不会佩戴足金首饰。         其中最有特色的是"基于流的策略"（Flow Policy）。足金质地偏软，很容易断裂，遗失损失也很大。研究团队从人类操作的视频出发，先用DINOv2（一种视觉特征提取工具）和SAM（一种图像分割工具）在视频帧中定位目标物体，然后用CoTracker3追踪物体上32个关键点在整段视频中的运动轨迹。就算是结婚，当地也流行选购彩金首饰佩戴。接下来，用一个微调过的生成模型，给定当前观察帧，预测整个任务接下来的关键点运动轨迹——这就是所谓的"对象流"。把这条生成的流稀疏化为若干子目标，策略就知道下一步应该让物体朝哪个方向运动。这个设计的妙处在于：人类和机器人的手臂形态各异，但两者都在操作同一个物体，物体的运动轨迹是跨越了"embodiment gap"（身体差异鸿沟）的通用语言。

|     说着导游摘下手上的镯子，在全车游客面前展示，这个镯子导游已经佩戴五六年，洗澡做家务都不会摘下来，完全不会掉色。对象流正是这样一种语言。随后抛出价格让大家猜测，实际售价只要三四百块。    脖子上面的转运珠，向左转动寓意转运，向右转动寓意发财，售价也才五百块。就连导游丈夫打麻将手气不好的时候，都会拿出来转一转，据说十分灵验。    听闻金饰只需要三四百元，还附带转运发财的寓意，团友的兴趣瞬间被调动，纷纷询问导游去哪里才能够买到这类彩金首饰。         除了这种从人类视频学习的策略，研究团队还测试了通过远程操控机器人收集数据训练的ACT（动作分块变换器）和Diffusion Policy（扩散策略），以及基于大规模预训练的视觉-语言-动作模型π0.5。导游于是顺势把整支队伍带到一处定点购物街区。这四种策略代表了当前机器人学习领域最主流的几个技术路线，覆盖范围相当广泛。

|          当下文旅市场依然潜力巨大，只不过游客将预算转向了住宿、沉浸式演艺、手作体验等情绪消费环节。像西安的唐风跟拍、开封万岁山武侠城的超额交付，都证明了大家追求的是透明、自由和有品质的体验服务。

|     未来能留下来的旅游企业，必须把游客当人看，把服务当成本事。谁能把体验感做扎实，谁才能真正在新一轮的行业洗牌中端稳饭碗。返回，查看更多。         值得一提的是，研究团队发现从人类视频学到的基础策略，通常比从远程操控数据学到的策略具有更平滑的运动轨迹。他们用两个专业指标（SPARC和LDLJ，都是衡量轨迹平滑程度的数学工具）进行了量化对比，发现人类演示的平滑度远高于远程操控演示，并且这个差距在策略学习之后会进一步放大。原因很直观：人类在操作时手部自然地产生平滑运动，而操控机器人时无法直接感受接触力，导致在关键接触阶段频繁出现抖动和不稳定的修正动作。这些不平滑的动作被策略学习放大之后，会让接触阶段的行为更加混乱，从而使触觉残差修正更难进行。         **六、四个"精细操作"任务上的实验：从一塌糊涂到近乎完美**          研究团队在真实机器人上进行了全面验证，使用的平台是搭载GelSight Mini触觉传感器的xArm7机械臂，配合一台第三视角的Intel RealSense D435深度摄像头。

|          四个测试任务各有各的挑战性，但都属于接触丰富型操作。         **插棒入孔**是第一个任务：机器人需要抓起一根圆柱形棒子，将其插入不同位置的目标孔中。这个任务要求空间泛化能力（孔的位置每次不同）、稳定抓握以及毫米级的接触对齐。视觉基础策略在这个任务上的成功率只有40%，经过40到50分钟的OMNITACTUNE训练后，成功率提升至100%。         **充电器插入**是难度最高的任务之一：机器人要把一个充电器插头插入手机充电口。充电器金属插片宽约7毫米，厚约1.5毫米，对应的插槽宽仅约2毫米，留给误差的空间极其微小。视觉基础策略的成功率只有10%，训练40分钟后成功率达到100%。         **拧瓶盖**是一个工具使用任务：机器人拿着开瓶器去打开瓶子盖子。这个任务要求在动态变化的接触过程中保持精确的工具姿态，稍有偏差就会从瓶盖上滑落。视觉基础策略成功率仅5%，训练50分钟后达到90%。         **开盒子**同样是工具使用任务：机器人用杠杆式开瓶器撬开一个小铁盒。这个任务的特殊挑战在于可以着力的边缘厚度只有约1.3毫米，必须极精准地对准后才能产生有效的杠杆力。

| 视觉基础策略成功率为5%，训练80分钟后成功率达到85%。         与此同时，研究团队还对比了三种对照方法。

| PLD*是把现有的PLD强化学习框架引入触觉的版本，但跳过了触觉编码器和评论家网络的热身优化；PLD（仅视觉）是只用视觉反馈进行残差学习、不接入触觉的版本；ViTAL是从零开始学习视觉-触觉策略、没有热身阶段的版本。四个任务上，OMNITACTUNE的最终成功率比这三个对照方法高出40%以上，印证了每个设计选择的必要性。         **七、与其他视觉-触觉学习方法的正面对比**          除了与相同框架的对照方法比较，研究团队还将OMNITACTUNE与当前几种主流的视觉-触觉模仿学习方法进行了正面较量，测试场景集中在插棒入孔任务上。         对比方法包括：带触觉融合的ACT（把触觉特征拼接到视觉特征后一起输入网络）、Reactive Diffusion Policy即RDP（一种先进的慢-快双通道视觉-触觉扩散策略），以及带触觉令牌的π0.5微调版。这些方法在学习时都额外收集了包含触觉信息的远程操控演示数据，演示数量从50条增加到90条，总时间成本与OMNITACTUNE的在线训练阶段相当，以确保公平对比。

|          结果显示，所有基于模仿学习的视觉-触觉方法，成功率均低于OMNITACTUNE。

| 带触觉融合的ACT达到60%，RDP达到65%，带触觉令牌的π0.5达到45%，而OMNITACTUNE达到100%。

| 相差20%到30%的差距，说明了一个核心结论：对于接触丰富型的精密操作，通过反复试错在线学习触觉修正，比收集更多的人工演示数据更有效率。这与人类学习的直觉一致——要学会穿针引线，真的需要自己动手练，光靠看别人做示范是不够的。         **八、兼容多种触觉感知方式**          现实中触觉传感器的种类繁多，不同传感器产生的数据形式各异。

| 为了验证OMNITACTUNE不依赖于特定的触觉感知方式，研究团队在插棒入孔和充电器插入两个任务上，对比了四种不同的触觉表示方法。         AnyTouch2是一种通用光学触觉表示学习模型，能够处理动态触觉感知；Sparsh是一种基于视觉的触觉自监督学习表示；T3是一种跨传感器跨任务的可迁移触觉变换器；还有一种更简单的低维触觉标记（Tactile Markers），直接使用触觉传感器中物理标记点的二维位移作为输入，配合一个两层的全连接网络来编码。         实验结果显示，四种触觉表示在经过OMNITACTUNE训练后都实现了显著的性能提升。

| AnyTouch2和低维标记方法在两个任务上都达到了相当的最终性能（约100%和100%对应插棒入孔，约100%和100%对应充电器插入），说明即使是简单的标记位移也足以提供有效的接触反馈。T3和Sparsh在充电器插入任务上表现略逊（约90%和80%），研究者推测这是因为这两个模型的预训练数据主要来自静态操作场景，对于充电器插入这类涉及动态探索的任务，其预训练特征与实际需求存在一定偏差。

|          这个结论对实际应用有重要意义：OMNITACTUNE不绑定昂贵的高端触觉传感器，廉价的标记位移传感器同样可以驱动有效的触觉残差学习。         **九、消融实验：逐一验证每个设计选择的必要性**          研究团队对系统的几个关键设计进行了消融实验，系统地验证每个组件的必要性。         奖励设计的消融实验显示，去掉接近奖励、流奖励或触觉奖励中的任何一项，学习速度都会明显减慢，最终成功率也会下降。

| 其中去掉流奖励（即仅依靠稀疏的成功信号）的影响最大，验证了密集的基于物体运动的中间奖励对于高效强化学习的关键作用。         残差策略设计的消融实验则比较了基于轨迹级关键点引导与基于逐步关键点引导的差别。

| 逐步关键点引导会对机器人每一步的动作方向过度限制，导致即使是ACT这样本身就会产生多样化动作的策略也难以与之协调，最终表现反而更差。轨迹级的稀疏子目标引导则既保持了任务方向性，又给了残差策略足够的自由度去处理局部接触细节。此外，去掉接触门控机制（让触觉特征在所有阶段都影响动作）也会使表现下降，说明"只在真正接触时才使用触觉"是一个重要的设计原则。

|          热身阶段的消融实验验证了三件事的重要性：热身期间对触觉编码器和评论家网络的联合优化、ControlTac触觉数据增强，以及评论家损失与重建正则化损失的共同作用。任何一项缺失，学习过程都会变得更不稳定，最终成功率也更低。         动作空间设计的消融实验证明了残差幅度调度器的价值：去掉调度器（一开始就允许较大的修正幅度）会导致学习不稳定；而设置过大的残差幅度上限（0.5而非0.15）虽然比完全无限制好，但最终性能仍不如精心调校的0到0.15的逐步增大方案。

|          **十、局限性与未来展望**          研究团队对OMNITACTUNE的局限性保持了清醒的认识。系统仍然继承了真实世界强化学习的通病：每次任务失败后需要人工重置环境，长时间反复接触操作会造成触觉传感器的磨损。特别是GelSight Mini这类基于视觉的触觉传感器，其柔性接触面在频繁接触中容易产生损耗。

| 如何实现更自动化的环境重置、降低硬件磨损，是未来工作需要解决的实际问题。         研究团队提出的改进方向包括：引入世界模型（World Model）来生成物理上更可信的视觉-触觉仿真轨迹，用于预训练和在线策略改进，从而减少真实环境交互的次数；以及将系统扩展到更多机器人平台和更多种类的触觉传感器上。         归根结底，OMNITACTUNE给出的是一个关于"如何用触觉补充视觉"的可行路径：不需要从头收集海量触觉数据，也不需要重新训练视觉策略，只需要在已有视觉策略的基础上，用40到80分钟的真实机器人交互，就能让机器人在那些"最后一公里"的精密接触任务上从几乎完全失败变成近乎完美。这或许意味着：为机器人添加触觉感知能力，真的可以比我们想象的更轻便，更快捷。         ---          Q&A          Q1：OMNITACTUNE和普通的视觉-触觉融合学习有什么区别？          A：普通的视觉-触觉融合学习需要同时收集大量包含触觉信息的示范数据，从头训练整个策略，数据成本高、泛化难。

| OMNITACTUNE则不同，它把已经训练好的视觉策略完全冻结，只训练一个轻量级的"触觉修正模块"，通过真实机器人在线练习来学习局部接触修正。

| 这样既保留了视觉策略的泛化能力，又不需要重新收集海量视觉-触觉配对数据，40到80分钟内即可完成适配。         Q2：OMNITACTUNE需要什么样的触觉传感器才能用？          A：OMNITACTUNE对触觉传感器类型没有强制要求。

| 研究团队实际测试了AnyTouch2、Sparsh、T3三种预训练触觉图像编码器，以及直接用传感器标记点位移作为低维输入的简单方案，四种方式都能正常工作。

| 实验结果显示，简单的低维标记位移方案甚至达到了与高端预训练编码器相当的性能，说明无需昂贵传感器也能有效使用该系统。         Q3：OMNITACTUNE训练完成后，机器人插棒入孔这类任务的成功率能到多少？          A：在研究团队的实验中，视觉基础策略在插棒入孔任务上的初始成功率只有40%，经过约50分钟的OMNITACTUNE在线训练后，成功率提升至100%。充电器插入任务从10%提升至100%，拧瓶盖从5%提升至90%，开盒子从5%提升至85%，平均成功率达到93.75%，比对比方法高出超过40个百分点。

Current article:http://0ng3it.xiaqingzhuangdaminnan.cyou/list_cm1/bqp7.html

Published on:03:31:33