【导语】当下，机器人在现实世界任务中常因不可预测性、操作灵活性不足等问题受限。机器人学习成为弥合实验室与现实差距的关键。NVIDIA 研究中心在 CoRL 2025 展示三项突破性神经网络创新研究——NeRD、Dexplore、VT-Refine，分别通过神经仿真、借鉴人类运动、融合视觉触觉等方式，重塑机器人学习与适应模式。
目前，机器人在受控的环境中能够有出色的表现，但在面对现实世界任务时，仍难以应对其中的不可预测性、操作灵活性和细微的交互需求，例如组装精密组件或是以接近人类的精度操控日常物体。
机器人学习已成为弥合实(shí)验(yàn)室(shì)演(yǎn)示(shì)与(yǔ)现(xiàn)实(shí)世(shì)界(jiè)部(bù)署(shǔ)之(zhī)间(jiān)差(chà)距(jù)的(de)关键推(tuī)动(dòng)力(lì)。
本(běn)期(qī)NVIDIA 机(jī)器(qì)人(rén)研(yán)究(jiū)与(yǔ)开(kāi)发(fā)摘(zhāi)要(yào) (R²D²)将(jiāng)探(tàn)讨(tǎo) NVIDIA 研(yán)究(jiū)中(zhōng)心(xīn)在(zài) CoRL 2025 上(shàng)展(zhǎn)示(shì)的(de)三(sān)项(xiàng)突(tū)破(pò)性(xìng)的(de)神(shén)经(jīng)网(wǎng)络(luò)创新研究，这些研究正在重塑机器人的学习与适应方式：
NeRD（神经机器人动力学模型）：通过具备跨任务泛化能力的学习型动力学模型增强仿真效果，同时支持在真实环境中对模型微调。
Dexplore：将动作捕捉演示数据作为自适应引导信息，帮助机器人实现人类级别的灵巧操作能力。
VT-Refine：融合视觉感知与触觉传感技术，通过创新的“真实—仿真—真实”（real-to-sim-to-real）训练流程，使机器人熟练掌握高精度双手协同装配任务。
通过神经仿真推动机器人学习：现代机器人普遍具有高自由度和复杂的机械结构，传统仿真器难以准确捕捉其复杂性。神经模型能够高效预测复杂的动力学行为，并适应现实世界的数据，有助于应对这一挑战。
NeRD 是经过学习的动力学模型，能够预测特定机器人（或称铰接刚体系统）在接触约束下的未来状态。该模型能够替代分析仿真器中的低层动力学与接触求解器，从而构建一种混合仿真预测框架。NeRD 可轻松集成到现有的铰接刚体仿真框架中，可作为Newton等物理引擎的无缝接入后端。
NeRD 可以高效预测复杂的动力学行为并适应真实世界的数据
从人类运动中学习灵巧技能：机器人的手部通常自由度较低且驱动、感知与控制能力有限，这使得机器人难以有效地从人类操作中学习灵巧的操作技能。
手与物体动作捕捉（MoCap）存储库提供了丰富的接触密集操作的人类演示，但它们难以直接用于机器人的策略学习。
本研究提出了参考范围探索（RSE），一种统一的单循环优化方法。它融合了重定向与跟踪功能，能够直接利用运动捕捉（MoCap）数据来训练可扩展的机器人控制策略。这种做法不仅保留了演示的意图，并使机器人能够自主探索与其自身形态相契合的动作。
从人类演示中学习灵巧操作，首先使用RSE训练一个基于状态的模仿控制策略，进而探索机器人专属的操作策略
视觉与触觉相结合，实现双手协同装(zhuāng)配(pèi)：基(jī)于扩散策略的行为克隆方法面临两大局限，即在现实世界中，演示数据有限，且数据采集接口的触觉反馈也较为有限。
为解决这一数据难题，VT-Refine 开发了一种创新的“真实—仿真(zhēn)—真(zhēn)实(shí)”框(kuāng)架(jià)。该(gāi)框(kuāng)架(jià)融(róng)合(hé)了(le)仿(fǎng)真(zhēn)、视(shì)觉(jué)与(yǔ)触(chù)觉(jué)信(xìn)息(xi)，可(kě)有(yǒu)效(xiào)应(yīng)对(duì)双(shuāng)手(shǒu)协(xié)同(tóng)装(zhuāng)配(pèi)任(rèn)务(wu)中(zhōng)的(de)挑(tiāo)战(zhàn)。
VT-Refine 是(shì)一(yī)种(zhǒng)创(chuàng)新(xīn)的(de)视(shì)觉触觉策略学习框架，适用于高精确、接触密集型的双手协同装配任务
