【导语】MathWorks 机器人产品经理 YJ Lim 分享前沿成果：生成式 AI 正重塑机器人领域，让机器人更灵活易用。从传统独立模块到生成式 AI 端到端系统，变革显著。MathWorks 弥合前沿研究与实际应用鸿沟，MATLAB 和 Simulink 提供诸多有力工具。结合生成式 AI，机器人应用迎来新可能，MathWorks 诚邀您体验示例，共探生成式 AI 在机器人领域的无限潜力与未来走向 。
本文来自 MathWorks 博客，Autonomous System 自主系统栏目。
作者：YJ Lim，MathWorks 机器人产品经理
翻译：叶女士(人机版)
非常激动地和大家分享我们最近的一些酷炫成果：我们正在利用生成式 AI，让机器人变得更加灵活，使用起来也更加便捷!
生成式 AI 已成为近年来最具影响力的技术趋势之一，推动了像 deepseek，ChatGPT 这样的工具，改变了我们的生活和工作方式。除此之外，生成式 AI 也正在重塑各行各业，机器人领域也不例外。在 MathWorks，我们非常期待探索这项技术如何简化和提升机器人运行的方式，让先进的机器人技术变得更加易用和多样化。
该领域的一个典型例子是 Google’s Robotics Transformer 2 (RT-2) [1]。RT-2 展示了生成式AI的巨大潜力，使机器人具备了前所未有的感知、规划和行动的适应能力。这些模型利用大规模网络数据，帮助机器人泛化知识、在非结构化环境中执行任务，并且只需极少的针对性训练。虽然前景令人振奋，但仍然面临一些挑战，比如如何将这些模型集成到现实世界的工作流程中——而这，正是 MathWorks 的用武之地。
从传统到生成式 AI 方法的转变
传统上，自主系统通常由感知、规划和控制等独立模块组成。虽然这些模块能够实现预期功能，但在集成和适应新环境时往往需要投入大量精力。
图示：现有的机器人任务实现方式——在传统机器人系统中，任务通常被分解为若干子任务，如目标检测、抓取和运动规划。感知模块负责检测并估算物体的姿态，而运动规划模块则计算任务执行所需的轨迹。在动态环境下，这些步骤往往需要多次重复执行，对于像放置多个物体这样的多步骤任务，会导致系统变得复杂且效率低下。
以传统的感知流程为例：
目标检测：可以使用 YOLOv4 检测器对图像中的物体进行识别(示例[2])。
姿态估算：通过多步流程估算被检测物体的三维位置和(hé)朝(cháo)向(xiàng)(示(shì)例(lì)[3])。
训(xun)练(liàn)与(yǔ)部(bù)署(shǔ)：每(měi)添(tiān)加(jiā)一(yī)个(gè)新(xīn)物(wù)体(tǐ)或(huò)更(gèng)换(huàn)环(huán)境(jìng)，都(dōu)需(xū)要(yào)重(zhòng)新(xīn)训(xun)练(liàn)和(hé)配(pèi)置(zhì)系(xì)统，这不仅耗时，而且难以大规模推广。
图(tú)示(shì)：现(xiàn)有(yǒu)的(de)姿(zī)态(tài)估(gū)算(suàn)方(fāng)法(fǎ)实(shí)现(xiàn)机(jī)器(qì)人(rén)任(rèn)务(wu)(参(cān)见(jiàn)此示例[4])。在现有的感知流程中，主要目标是检测图像中的(de)物(wù)体(tǐ)并(bìng)估(gū)算(suàn)其(qí)三(sān)维(wéi)姿(zī)态(tài)，通(tōng)常(cháng)会(huì)用(yòng)到(dào) YOLOv4 检(jiǎn)测(cè)器(qì)。尽(jǐn)管(guǎn)这(zhè)种(zhǒng)方(fāng)法(fǎ)有(yǒu)效(xiào)，但(dàn)需(xū)要(yào)大(dà)量(liàng)的(de)训(xun)练(liàn)和(hé)姿(zī)态(tài)估(gū)算(suàn)步(bù)骤(zhòu)，因(yīn)此(cǐ)在(zài)面(miàn)对(duì)新(xīn)物(wù)体(tǐ)或(huò)新(xīn)环(huán)境(jìng)时(shí)，扩(kuò)展(zhǎn)和(hé)应(yīng)用(yòng)起(qǐ)来(lái)既(jì)繁(fán)琐(suǒ)又(yòu)具(jù)有(yǒu)挑(tiāo)战(zhàn)性(xìng)。
生成式 AI 则改变了这一传统做法，将感知、规划和控制集成到一个端到端的系统中。VLA(视觉-语言-动作)模型能够处理文本指令和摄像头图像，预测机器人动作，并根据反馈不断优化这些动作。这类模型具备以下特点：
基于 transformer 架构——与 ChatGPT 等模型采用相同的技术基础;
能够结合视觉和语言输入进行推理并生成相应动作;
作为“具身智能”系统，将抽象理解与实际物理动作相连接。
这种端到端的方法大大简化了开发流程，使机器人更容易适应新的任务和环境。
图示：基于 transformer 架构的机器人 VLA(视觉-语言-动作)模型能够根据文本指令和摄像头图像，在一个简化的步骤中预测机器人动作，这与传统系统中任务分解、感知和运动规划等多个独立阶段不同。这些模型通过(guò)视(shì)觉(jué)反(fǎn)馈(kuì)不(bù)断(duàn)迭(dié)代(dài)优(yōu)化(huà)动(dòng)作(zuò)，从(cóng)而(ér)提(tí)升(shēng)准(zhǔn)确(què)性(xìng)，但(dàn)在(zài)实(shí)际(jì)执(zhí)行(xíng)时(shí)仍(réng)需(xū)依(yī)赖(lài)底(dǐ)层(céng)控(kòng)制(zhì)器，并且在真实应用中需要安全层来保障可靠性。与 ChatGPT 和 DALL-E 等模型不同，VLA 模型通过将决策过程融入物理机器人系统，实现了“具身智能”。
生成式 AI 与机器人技术在 MathWorks 的结合
在 MathWorks，我们致力于将生成式 AI 领域的前沿研究与机器人实际应用之间的鸿沟弥合。我们 MATLAB 和 Simulink 中的工具为机器人基础模型提供了有力补充，例如：
即插即用：可直接在 MATLAB 和 Simulink 中访问和部署此类模型。
测试验证：利用生成式模型的输出，仿真机器人动力学、优化运动规划和轨迹控制(通过 Robotics System Toolbox)。
三维可视化：逼真的3D动画将机器(qì)人(rén)行(xíng)为(wèi)生(shēng)动(dòng)展(zhǎn)现(xiàn)，便(biàn)于(yú)在(zài)仿(fǎng)真(zhēn)环(huán)境(jìng)中(zhōng)评(píng)估(gū)性(xìng)能(néng)。
安(ān)全保(bǎo)障(zhàng)：为(wèi)机(jī)器(qì)人系统的现实应用提供验证和确认工具，确保安全关键型场景的可靠性。
真实部署：支持从仿真无缝过渡到(dào)实(shí)际(jì)部(bù)署(shǔ)，包(bāo)括(kuò)在资源受限设备上的测试或利用云端推理。
例如，我们开发了一个名为“RobotPolicy”的 Simulink 模块，可与基础模型集成，在闭环系统中展示其能力。该模块能够接收任务指令和视觉观测，输出机器人动作，并支持如 RT1-X 和 Octo 等预训练的小型模型。
图示：在 Simulink 中仿真和测试机器人基础模型。Simulink 中的“RobotPolicy”模块可以集成来自 HuggingFace 等平台的基于 Python 的基础模型。它能够处理任务指令和观测图像，生成机器人动作，明确指定末端执行器的位置和姿态。整个工作流程包括自然运动的位姿控制、具有真实感的 3D 仿真环境，以及动作的迭代生成直至完成任务，从而实现生成式 AI 在机器人领域的无缝测试与部署。
现实应用与未来展望
结合 MATLAB 和 Simulink 的生成式 AI 为各类机器人应用领域带来了令人兴奋的新可能，例如：
零样本部署：得益于基础模型在多样化数据集上的广泛训练，机器人能够在从未见过的环境中执行任务。
涌现能力：不仅能执行基础指令，机器人还可完成需要推理的复杂任务，比如挑选健康饮品或理解符号化指令。
仿真驱动开发：高保真仿真有助于优化模型和加速测试，缩小仿真与现实部署之间的差距。
针对特定任务的微调：借助基础模型中学到的先验知(zhī)识(shi)，机(jī)器(qì)人(rén)仅(jǐn)需(xū)极(jí)少(shǎo)的(de)数(shù)据(jù)就(jiù)能(néng)适(shì)应(yīng)新(xīn)任(rèn)务(wu)或(huò)新(xīn)环(huán)境(jìng)。例(lì)如(rú)，只(zhǐ)需(xū)少(shǎo)量样本，便可在数小时内完成对高精度操作或长时序任务的模型微调。
亲自体验
我们非常乐意帮助您探索生成式 AI 如何变革机器人工作流程。目前，我们准备在 GitHub 上发布示例，同时您也可以直接联系我们，申请试用代码的访问权限。
这个示例将展示：
机器人基础模型与 Simulink 的集成
机器人任务的仿真与可视化
如何将这些模型适配到具体应用中(zhōng)
欢(huan)迎联系我们获取试用代码，亲自体验生成式 AI 带来的各种可能。我们期待您的反馈和宝贵见解!
加入讨论
生成式 AI 仍在不断发展，提升成功率和实现可扩展性等问题仍需攻克。随着更多数据和高保真仿真的出现，我们相信该领域将会快速进步。在 MathWorks，我们很高兴能够参与这一进程，并期待听到您对生成式 AI 在机器人领域创造新机遇的看法。
欢迎分享您的想法，并亲自试用 GitHub 上的示例，体验这些创新应用的可能性：
您目前是否在探索生成式 AI 在机器人领域的应用?在您看来，生成式AI在哪些机器人应用中能够产生重大影响?
机器人VLA基础模型(如 Google 的 RT-X 和 Covariant 的 RFM-01)可以实现端到端的任务处理(涵盖感知、规划和执行)。您认为这些模型有可能取代传统算(suàn)法(fǎ)吗?
机器人基础模型在实际部署中仍需底层控制器、额外的安全机制和大量测试。您认为基于模型的设计(Model-Based Design)能否在保障(zhàng)这(zhè)些(xiē)模(mó)型(xíng)功能安全方面(miàn)发挥关键作用?
MATLAB/Simulink 为基础模型的连接、仿真、测试和部署提(tí)供(gōng)了(le)便(biàn)捷(jié)工具。您是否有兴趣将 MATLAB/Simulink 用于这些用途?
