【读论文007】Advances, challenges, and opportunities for legged robots

😀

有必要读一下

运动控制

为了使足式机器人能够高效地利用其硬件系统，控制算法必须将任务指令转化为电机控制命令，从而使机器人能够与环境进行有效交互。这些算法决定了机器人的运动能力、敏捷性和智能水平，并最终决定了其实际应用范围。由于传感器更新频率、任务延迟要求以及计算需求存在差异，机器人控制系统自然形成了模块化的分层控制架构：快速运行的底层模块（例如，执行器控制频率约为 200～1000 Hz，运动控制频率约为 50～200 Hz），以及运行频率较低的高层模块（<30 Hz）。其中，高层模块通过场景理解、规划和导航等功能赋予机器人自主行动能力（53）。

运动控制器通常生成执行器的目标位置，并将其传递给执行器控制器，由后者将目标位置转换为电机电流或关节力矩。运动控制器负责足端落点规划、步态时序安排、腿间协调、离地时机控制以及平衡维持等任务，从而使机器人能够跟踪指定的速度、位置或参考运动轨迹。控制器通过处理本体感知信息（proprioceptive inputs），包括关节位置、速度、力矩和惯性测量数据，并结合外部感知（exteroception）获得的地形信息，决定机器人的运动行为。

传统上，经典控制方法将足式运动分解为多个独立的、人工设计的运动技能。现有文献已对足式运动的生物力学机制（54，55）以及基于模型的控制策略（56）进行了广泛研究。早期方法主要关注静态稳定性，采用质心（Center of Mass，COM）判据，即要求机器人质心在地面上的投影始终严格位于支撑多边形内部。随着零力矩点（Zero-Moment Point，ZMP）判据的发展，这一约束得到一定程度的放宽。随后，线性倒立摆模型（Linear Inverted Pendulum，LIP）和弹簧负载倒立摆模型（Spring-Loaded Inverted Pendulum，SLIP）等降阶模型被引入，使动态运动成为可能。模型预测控制（Model Predictive Control，MPC）进一步利用简化的机器人模型，实现了行走、跳跃和奔跑等运动行为（56）。然而，实时控制的要求限制了模型的表达能力，进而削弱了控制器在真实世界随机性和不确定性交互条件下的鲁棒性。为克服这一局限，研究人员引入了关节级反射控制及其他启发式策略，以提高系统的鲁棒性（57）。随着基于强化学习（Reinforcement Learning，RL）的控制器逐渐兴起，MPC 方法也推动了混合控制系统的发展。在这类系统中，MPC 可在训练和实际部署过程中辅助进行长时域规划（58）。

完全在仿真环境中训练的强化学习策略，已成为开发足式机器人运动控制器（59）和跌倒恢复策略（60）的广泛采用的范式。这类方法将数千小时的仿真交互经验进行摊销和蒸馏，最终形成具有鲁棒性的控制策略，其训练过程主要采用近端策略优化算法（Proximal Policy Optimization，PPO）（61）。

基于强化学习的运动控制器之所以能够取得成功，得益于若干关键设计决策。首先，仿真环境需要能够覆盖机器人在实际部署过程中可能遇到的各种状态。其次，策略的观测空间通常受到有意限制，往往优先采用几何形式的外部感知信息，而非 RGB 图像。此外，策略通常预测执行器的位置目标，再通过阻抗控制（impedance control）将其转换为关节力矩，而不是直接预测关节力矩。这种设计能够降低训练过程中的探索难度（图 2A）。

然而，真正推动强化学习运动控制取得突破的关键，在于一系列缩小“仿真到现实差距”（sim-to-real gap）的技术。通过执行器模型的系统辨识（system identification）（11），学习得到的控制策略能够以零样本迁移（zero-shot transfer）的方式直接部署到真实机器人硬件上。域随机化（domain randomization）（12）能够使策略对系统参数和环境变化具有更强的适应能力，但这种鲁棒性通常以一定程度的最优性损失为代价，因为学习得到的行为本质上是一种平均化解决方案，并未针对特定机器人及其环境进行优化（62）。域自适应策略学习（domain adaptive policy learning）（43，44）通过在线持续估计系统参数来弥补这一不足，使机器人能够根据环境变化动态调整行为，并更好地应对真实世界中的传感器噪声和各种不确定性。

为了满足严格的实时控制需求，同时便于泛化和优化，基于强化学习的运动控制策略通常采用容量较小的模型，例如多层感知机（Multilayer Perceptron，MLP）（11）或循环神经网络架构（43），其参数规模通常低于 1000 万。尽管已有研究尝试采用扩散模型（diffusion models）（63）或 Transformer 架构（64），但这些模型的规模仍显著小于视觉和语言领域中的对应模型，通常仅包含数百万参数，而非数十亿参数（65，66，67）。

强化学习通常需要大量精细的奖励函数设计（reward shaping），才能生成期望的运动行为。通过引入领域知识，例如利用运动中的对称性（68），或采用受生物启发的中央模式发生器（Central Pattern Generator，CPG）（69）、约束强化学习（constrained RL）（70）以及自动课程设计（automatic curriculum design）（71）等方法，可以在一定程度上缓解这一问题。此外，PPO 等算法的样本效率较低，使得有效探索变得困难。为此，研究人员提出了利用特权信息（privileged information）的教师—学生学习方法（student-teacher methods）（72，62，43，73）。然而，如何在有限数据条件下高效学习，以及如何实现真实世界中的在线适应，仍然是尚未解决的挑战。尽管已有研究探索了样本效率更高的替代方案，例如离策略强化学习（off-policy RL）（74，75）和离线强化学习（offline RL）（76，77），但这些方法尚未在足式运动控制领域证明其有效性。

运动目标本身的定义也可能构成限制。例如，以速度跟踪作为优化目标可能过于严格，从而阻碍机器人学习跨越沟壑等复杂运动行为。为克服这一问题，一些具有前景的研究方向包括：采用更加稀疏的位置奖励来优化任务（15）、进行足端落点跟踪（foothold tracking）（78），以及利用人类或动物的参考运动数据开展模仿学习（imitation learning），从而获得多样化的运动风格（79，80，81，82）或高度敏捷的运动能力（83，84）。

将来源于视频或动作捕捉的参考运动重定向（retargeting）到具有不同肢体长度、质量分布和自由度的特定机器人本体上，通常被建模为一个优化问题。该问题通过逆运动学（inverse kinematics）对齐三维关节位置和姿态。与受到计算资源约束的实时运动重定向相比，离线运动重定向通常能够实现更高程度的物理真实性和运动保真度（85）。重定向后的运动通常由强化学习控制器进行轨迹跟踪（81，85，82）。模仿人类行为或步态不仅能够简化奖励函数的调节过程，还能够提高机器人的社会接受度，促进更加自然的人机交互，从而为机器人从单纯的工具转变为直观易用的交互伙伴奠定基础。

目前，许多方法仍然依赖流程复杂的多阶段训练过程（86，82），而如何将多种运动技能或多个控制策略蒸馏到单一策略中，仍然是一个尚未解决的研究问题（86，87）。尽管强化学习早在数十年前就已被应用于足式运动控制（88，89），但运动鲁棒性的重大突破最早是在四足机器人上实现的（11，62）。此后，相同的核心算法已被证明能够迁移到多种不同的机器人形态（90）。然而，机器人形态的选择涉及根本性的权衡。增加腿的数量会提高多肢协调的复杂度，但同时也能够扩展机器人在失稳情况下可采用的恢复动作空间。与人形机器人相比，四足机器人可以避免复杂连杆和机械机构带来的部分机械设计复杂性。此外，双足运动依赖动态稳定性，因此在崎岖地形上的运动尤其具有挑战性。不过，双足机器人具有占地面积较小的优势，而人形机器人的形态也有利于大规模收集人类参考运动数据。

总体而言，如何对足式机器人的控制策略进行安全性验证与认证，仍然是一个开放性研究问题。目前较为常见的方法包括哈密顿–雅可比（Hamilton–Jacobi，HJ）可达性分析、控制屏障函数（Control Barrier Functions，CBF）以及基于李雅普诺夫（Lyapunov）稳定性理论的方法，相关研究已在文献（91）中得到综述。控制屏障函数已被应用于双足机器人的导航任务（92），而 HJ 可达性分析则被用于减少基于学习的四足机器人导航过程中的安全约束违反行为（93）。尽管取得了这些进展，实际能够实现的运动行为与能够获得形式化安全保证的运动行为之间，仍然存在显著差距。特别是在部分可观测条件和复杂非线性环境动力学下，如何定义安全状态仍然十分困难。这些挑战持续推动着研究人员从不同时间尺度提升控制系统的安全性和可解释性，同时也促进了混合控制系统及统计安全保证方法的进一步研究。

随着足式机器人运动能力从平坦地形逐步扩展到崎岖地形，并进一步发展到非连续地形（94，73，58），当前研究重点正逐渐超越单纯的几何感知，转向融合视觉和语义理解的运动控制（95）。人类在行走时，也会利用视觉规划接下来的若干个落脚点，将视线集中在地形中最相关的区域，并理解影响运动方式的各种环境线索（96）。通过引入语义信息，机器人能够提前预测与地形的交互过程，应对松散石块、树枝等不稳定地形，并主动考虑自身施加在环境上的作用力。我们将这一新兴研究范式称为“灵巧语义运动”（Dexterous Semantic Locomotion）。该范式强调：机器人不仅需要理解地形的几何结构，还必须能够预测自身与地形之间的相互作用，并对环境进行语义解释，从而规划精确、细粒度的运动控制响应。这一范式要求机器人综合利用多模态数据识别环境中的可供性（affordances，即环境能够为特定动作提供的交互可能性），并将这些信息用于灵巧运动控制。此外，开发具备长时域规划能力、能够与人类及其他智能体高效协作的运动行为，也正在变得日益重要。

自主性与表征

自主性是任何机器人系统的关键组成部分。在足式机器人的语境中,自主系统利用腿和运动算法克服障碍物及复杂地形,生成自主导航行为。尽管足式机器人能够完成更复杂的操作和交互,本文主要关注导航;有关操作的全面综述,请参见文献(97)。

传统上，自主系统通常将整体任务分解为多个子系统，并通过具有明确接口的分层数据处理架构来管理自主系统所涉及的复杂性（见图3）。足式机器人的感知子系统使其能够理解自身状态及周围环境。由此获得的状态估计可能包括接触状态、外部作用力和地面反作用力等信息，并可供运动控制、导航、建图及其他模块使用。其中，机器人的位姿与速度估计，即里程计（odometry），一直是该领域的重要研究方向。除了实现移动功能，机器人的腿部还可以充当传感器，通过腿部里程计（leg odometry）提供有关机器人运动学状态的信息（98）。目前，足式机器人的状态估计器主要依赖多传感器融合技术。这类技术已经从早期的运动学—惯性融合方法（kinematic-inertial formulations）（40），发展为以互补方式融合摄像头、激光雷达（LiDAR）、毫米波雷达（radar）及其他传感器模态的现代解决方案（99，100，101）。基于这些状态估计结果，系统能够在空间和时间维度上融合传感器信息，并构建编码环境几何特征与语义信息的结构化表征（structured representations）（102）。这些表征包括局部地形地图，以及通过同步定位与建图（Simultaneous Localization and Mapping，SLAM）生成的全局地图，可用于支持机器人的自主导航。

对于足式机器人而言，语义理解并不仅仅意味着识别环境的几何结构及其语义标签。相反，导航系统在分析环境时，还必须同时考虑机器人的硬件特性和控制器能力，这一问题被称为可通行性估计（Traversability Estimation）。可通行性估计方法根据机器人穿越不同地形区域的难易程度，对地形地图或占据栅格地图（occupancy grid）中的各个区域进行评分（103）。这些评分（或代价值）通常由学习模型预测得到，而模型可以通过人工标注数据或自监督信号进行训练（104，105）。所得代价值能够直接用于传统运动规划器，以搜索可行的运动路径。然而，结构化表征的使用也使得机器人自身状态和本体感知信号（proprioceptive signals）的融合变得困难。这一挑战促使研究人员探索通过学习前向动力学模型（forward dynamics models），在不依赖显式场景表征的情况下对地形可通行性进行编码（106）。

与运动控制领域的研究类似，利用强化学习（Reinforcement Learning，RL）训练导航策略也展现出良好的前景。这些方法能够直接从原始传感器输入或地图表征中学习导航行为（107，108，109）。然而，仅仅使用学习式导航模块替换传统导航模块，仍然保留了导航与运动控制之间相互解耦的架构。这种设计限制了足式机器人在更加复杂和具有挑战性的环境中的部署能力。

与仅使用学习方法替换或增强传统自主系统中的单个组件不同，新兴的基于学习的自主系统（learning-based autonomy systems）旨在融合不同功能模块，以突破分层传感器信息处理、人工设计接口以及基于启发式规则构建的环境表征所带来的局限（见图3中高亮部分）。这种发展方向有望促进视觉和语言领域中学习得到的抽象表征之间更加紧密的融合，使不同模块能够通过多种显式表征和隐式学习表征实现信息融合与相互条件化（mutual conditioning）。

机器人跑酷（robot parkour）是这一新型自主系统设计方向的初步探索。该应用场景受到应急救援任务的启发，在此类任务中，传统的导航与运动控制解耦架构很可能难以奏效。在机器人跑酷任务中，机器人需要在不连续且崎岖不平的地形中自主导航至目标位置，并应对沟壑、高大障碍物及狭窄空间等挑战。近期研究已经通过分层强化学习（hierarchical RL）和潜在场景表征（latent scene representations），成功实现了不同运动行为之间的协调（110，109）。

纵观整个自主系统，可以发现，从语言中学习得到的抽象表征发挥着关键作用。这些表征赋予机器人对特殊或极端情况（corner cases）进行推理以及开展高层规划的能力（111，112），而这些能力对于机器人在更加复杂、非结构化的真实环境（“in-the-wild” environments）中部署至关重要。学习得到的语义表征可以通过多种形式的记忆机制进行维护，例如场景图（scene graphs）（112）。这些记忆机制能够支持抽象概念和原始传感器信息的重新训练、分组和检索，同时继续利用已有的导航图方法（navigation graph approaches）（3，103）。

此外，扩散模型（diffusion models）（113，114）、视觉—语言—动作模型（Vision-Language-Action Models，VLA）（67，115）以及大规模行为模型（Large Behavior Models，LBM）（66）等互补性方法，已经展现出一定的泛化能力和灵巧操作能力。当这些模型在大规模互联网数据集和机器人遥操作数据集上进行预训练后，它们能够仅通过少量示范学习有效的行为策略（66）。这些方法为导航行为学习提供了一种强有力的新范式。然而，目前基于模仿学习（imitation learning）范式的导航方法，在鲁棒性和可解释性方面仍然落后于经典方法。与在仿真环境中训练的强化学习策略相比，这些方法在有效融合本体感知信息方面也面临较大困难。近年来，导航基础模型（navigation foundation models）的持续发展，使人们能够通过自然语言以更加直观的方式向机器人传达导航指令（111）。相关研究还展示了将过去相互独立的系统组件融合到统一架构中的潜力，推动机器人技术向通用型人形机器人（generalist humanoid robots）的方向发展（116）。

尽管统一架构具有诸多优势，严格的硬实时约束（hard real-time requirements）仍然是决定系统架构设计的重要因素。这表明，未来仍需进一步研究不同框架如何根据任务复杂度实现自适应计算（adaptive computing）。如何确定不同组件之间的最优接口、控制频率以及功能边界，乃至这些边界是否有必要存在，目前仍然是学术界持续讨论的问题。

此外，另一个尚未解决的开放性问题是：自主系统究竟应该显式编码哪些先验知识（priors），又应该在多大程度上依赖端到端学习方法，通过可扩展的学习目标和海量训练数据自动获取这些知识？尽管模块化自主系统架构（modular autonomy stack）已经成为机器人自主控制的重要基础，但仅依赖相互解耦的感知、建图、规划、导航和运动控制模块，可能不足以应对更加复杂的任务。现代机器人应用要求系统具备前所未有的态势感知能力（situational awareness）、全面的世界知识（world knowledge），以及高层行为与底层行为之间紧密的具身协调能力（embodied coordination）。因此，未来机器人自主系统能否取得成功，不仅取决于训练数据的可获得性和底层学习算法的性能，还在很大程度上取决于如何定义和建模机器人需要解决的问题，即所选择的问题形式化方法（problem formulation）。

数据与仿真

获取适用于训练和评估的数据，是开发能够在多样化、非结构化环境中运行的足式机器人系统所面临的一项根本性挑战。数据通常与机器人的本体形态（embodiment）、传感器模态（sensor modalities）、执行器动力学特性以及环境条件密切相关。这些数据具有高度多模态性（就传感器类型而言），通常是异步的，并且受到时间相关噪声和系统延迟的影响。这些因素使得大规模、可靠的数据采集变得十分困难，尤其是在足式机器人必须保持鲁棒运行的、难以预测的长尾边缘场景（long-tail edge cases）中。为应对这一挑战，开发人员和研究人员利用在针对性、数据量和多样性方面各不相同的数据来源，构建不同层次的抽象表征和理解能力。这些数据所支持的知识层次涵盖世界知识（world knowledge）、通用知识（general knowledge），以及特定任务理解（task-specific understanding）（参见图4A所示的数据金字塔）。

近年来，基于图形处理器（Graphics Processing Unit，GPU）加速的仿真框架（14，17，16）取得了显著进展，使得在消费级硬件上开展大规模策略学习成为可能，从而降低了大规模强化学习训练的技术门槛。这些仿真器能够快速生成数据，并提供特权监督信号（privileged supervision signals），因此特别适合用于学习面向控制任务的行为策略。然而，仿真的保真度（fidelity）和真实感（realism）通常需要以计算吞吐量为代价。物理建模和视觉渲染中的近似处理会引入仿真与现实之间的域差距（sim-to-real domain gap），从而限制学习得到的策略直接迁移至真实机器人硬件的能力。尽管实现完全精确的仿真仍然十分困难，但大规模域随机化（domain randomization）（117）、学习式残差模型（learned residual models）（11，82）以及精确的系统辨识（system identification）（118）等技术，已被证明能够有效缩小这一差距。因此，目前大多数底层运动控制、导航及全身控制（whole-body control）策略主要在仿真环境中进行训练，并依赖本体感知信号（proprioceptive signals）以及深度图像、语义图像等中层视觉表征（midlevel visual representations）作为输入。

尽管取得了上述进展，仅依靠仿真仍然不足以满足足式机器人学习的需求。为了使机器人接触足够多样化的场景，需要设计复杂的仿真环境并对系统不确定性进行建模。然而，这一过程在很大程度上仍然依赖人工设计，而且缺乏足够的鲁棒性。许多真实场景仍然超出了当前仿真器的建模能力，例如机器人足部与植被发生缠绕、在可变形地形上运动，以及在具有丰富语义信息和大量杂乱物体的环境中执行任务。此外，生成高保真 RGB 图像数据需要消耗大量计算资源，通常需要使用多块 GPU（95）。然而，真正的核心瓶颈在于：如何准确模拟与视觉数据相对应的物理交互过程。这一问题最终导致仿真与现实之间的视觉域差距（sim-to-real visual gap）至今仍未得到解决。这些局限性凸显了真实世界数据集的重要性，因为真实世界数据能够捕捉当前仿真技术尚无法充分复现的环境复杂性、不可预测性以及丰富的语义信息。

足式机器人的真实世界数据集可以通过在不同环境中直接遥操作（teleoperation）机器人获取，也可以通过人类或动物的动作示范间接获得。从视频（119）或动作捕捉系统（motion capture systems）（120，121）中提取的参考运动，能够为运动控制提供有价值的先验知识（priors），从而简化奖励函数设计，并提高模仿学习（imitation learning）过程的稳定性。对于导航和建图任务而言，包含丰富传感器数据的数据集至关重要，例如同时包含 RGB-D 相机、激光雷达（LiDAR）以及腿部本体感知信息的数据集。这类数据集能够支持不同算法的开发、测试与基准评估。与自动驾驶汽车不同，采集多样化的足式机器人数据需要付出更高的成本，因为足式机器人必须被部署到复杂、非结构化的地形中，而非主要沿着道路运行。近年来，一些基于四足机器人的数据采集工作，例如 GrandTour 数据集（122）和 Sub-T 数据集（123），开始逐步缩小这一差距。这些工作在不同光照和天气条件下，采集了涵盖城市街道、森林以及建筑工地等多种环境的数据。然而，在大规模机器人部署过程中，确保数据完整性（data integrity）并进行数据验证仍然具有挑战性。同时，与自动驾驶领域相比，足式机器人数据集在规模和多样性方面仍存在明显不足。因此，真实世界数据仍然是一种稀缺但至关重要的资源，并且能够与仿真数据形成互补。

缩小仿真数据与真实世界数据之间的差距，将在推动足式机器人技术发展方面发挥核心作用。神经渲染（neural rendering）技术（124，125，95）和神经场景重建（neural scene reconstruction）（126）有望在不久的将来实现大规模、高保真、照片级真实感的 RGB 图像渲染和网格模型生成（meshing），从而为仿真环境提供更加逼真的视觉和几何表示。神经网络增强的物理引擎（neural-augmented physics engines）（127）则有望更准确地刻画复杂动力学过程，从而扩展仿真对当前尚未得到充分建模的长尾失效模式（long-tail failure modes）的覆盖范围。可微分仿真（differentiable simulation）技术的进步能够支持开发更加高效的学习算法。同时，生成式模型（generative models）（128，129）为自动构建多样化、语义丰富的仿真环境提供了一条具有前景的技术路径，从而减少对人工环境设计与工程开发的依赖。与此同时，随着足式机器人的部署范围不断扩大——初期可能主要通过人类引导的遥操作方式实现——真实世界数据集的规模也将自然增长（图4B）。这一发展趋势有望催生类似于视觉和语言领域已经建立的互联网规模训练范式（internet-scale training paradigms）。机器人操作领域的早期研究结果已经表明，更大规模的数据集能够带来显著收益（66）。因此，将可扩展仿真（scalable simulation）、生成式数据增强（generative augmentation）以及广泛的真实世界部署相结合，将成为构建高度多样化数据集的关键。这些数据集将进一步推动下一代具备强鲁棒性和通用能力的足式机器人系统的发展。

在所有这些数据模态中，研究人员面临的一个主要瓶颈是：缺乏标准化、可共享的基准测试体系（benchmarks）和统一的研究实践规范。目前，大多数仿真到现实迁移（sim-to-real）研究依赖定制化硬件平台，这使得不同方法之间难以开展系统性的性能比较（130）。仅依靠仿真环境中的性能对比同样是不充分的，因为仿真测试无法完整反映将学习策略迁移到真实机器人硬件时所面临的挑战。解决这些问题需要超越足式机器人领域本身、开展更大范围的协同研究，而相关进展也有望惠及整个机器人研究领域。最终，上述技术进展能够共同形成一个数据飞轮（data flywheel）（图4B），通过持续的正向反馈机制，加速数据资源的积累与获取，提高仿真能力，完善基准评估体系，并进一步推动新的真实世界应用落地。

义父，请我喝杯蜜雪冰城吧。