1996 年，一台计算机击败了国际象棋世界冠军；它能够选择最佳着法，却需要人来移动棋子。二十年后，AlphaGo 击败围棋世界冠军时，仍然无法自行移动棋子。如今，大语言模型（LLM）能够解出国际数学奥林匹克（IMO）的金牌级题目，却不会用铅笔写下答案。这种“我们觉得某件事有多难”与“机器觉得某件事有多难”之间的不匹配，被称为莫拉维克悖论（Moravec's paradox）。对机器而言，看似困难的下棋、解数学题，或规划拥堵街道中的路线以最小化出行时间，反而是“容易”的；而对人类来说看似简单的拾起棋子、写便条、制作花生酱三明治或清洗餐具，却构成极其困难的挑战。
Benjie Holson 最近发表的一篇博客文章提出了一组“机器人奥运会”挑战任务，进一步凸显了这一悖论，其中包括涂抹花生酱、清洗油腻的煎锅、把钥匙插入锁孔、将袜子翻面等看似简单的日常行为。这些挑战在认知上可能不如数学奥赛题目要求高，但机器人专家认为，它们对自主机器人构成了非同寻常的挑战。
我们想看看，仅通过微调基于 π₀.₆ 的最新模型，究竟能解决其中多少任务。这是检验通用能力的好方法：任务不是由我们挑选的，覆盖了多种操作能力，而且此前从未在其他机器人系统上展示过。对于提出的五个类别，我们已经在其中三个类别展示了“金牌”任务的初步解决方案，在另外两个类别获得了“银牌”。未解决的两个金牌任务对我们的机器人来说在物理上无法完成，不过其中一个只需小幅修改（使用金属工具）便可解决。所有这些工作都只是微调最新模型完成的。这不是一个专门针对这些任务的研究项目，大部分工作是为每项任务收集数据；多数任务所需时间少于 9 小时。
Benjie Holson 最初提出的任务按类别划分，每个类别包含“铜牌”“银牌”和“金牌”任务。为了获得最高成功率，我们没有穷尽所有可能的做法（例如，我们最近关于使用 RL 优化可靠性和速度的工作就讨论了这一点），而且这些任务的策略往往并不稳定；但平均而言，成功率为 52%，任务进度为 72%。我们还运行了一个基线：微调标准视觉语言模型（VLM），但不使用 π₀.₆。该基线没有成功完成任何任务，平均任务进度仅为 9%，说明大规模机器人预训练对这一结果至关重要。
只要条件允许，我们都尽量按照原博客文章设置任务。有些任务使用了固定的非移动机器人，尽管原任务面向移动机器人；但我们预计，移动底座不会让这些静态任务变得更困难。
奥运会项目
🥇 项目 1：全身（又称开门）。这一类别的金牌任务是打开一扇会自动关闭的拉杆门并穿过门。难点在于，机器人穿过门时必须保持门处于打开状态。
🥈 项目 2：洗衣。金牌任务是把一件里外翻的衬衫翻正后挂起来。我们认为当前的机器人在物理上无法完成这项任务，因为夹爪太宽，无法伸进衣袖（这也是我们下一次硬件迭代应该解决的问题！）。因此，我们挑战了银牌任务：将袜子翻面。由于机器人夹爪的形状，这项任务相当困难，但我们的策略用约 8 小时数据就学会了它。
我们还为铜牌任务训练了一个策略，即折叠一件里外翻的 T 恤。
🥇 项目 3：基本工具使用。我们测试了该类别的三个任务（金、银、铜牌）。金牌任务是使用钥匙。这项任务很难，因为它要求进行精细操作，还要求机器人在不放下钥匙的情况下，用夹爪重新调整钥匙方向。原任务中有人把钥匙递给机器人，而我们让机器人从桌面上拾起钥匙。
我们还在移动机器人上运行了这项任务。
银牌任务是制作花生酱三明治。我们认为这项任务实际上更难：它要求机器人用刀舀起花生酱，再以细腻的力度将其涂开，最后小心地完成三明治。
铜牌任务是用喷雾瓶和纸巾清洁窗户。这项任务很难，因为它包含多个阶段，需要处理可变形的纸巾，还要操作喷雾瓶。
🥈 项目 4：指尖操作。银牌任务是使用狗狗便袋：需要将袋子套到夹爪上，用它捡起“狗屎”，然后将袋子翻面。金牌任务是剥橙子。银牌任务极其困难，因为它要求分开便袋边缘将其打开，再把袋子套到夹爪上。
金牌任务对我们的机器人夹爪来说无法完成，所以我们使用了工具（严格来说这违反了规则，因此不计为成功）。即便如此，任务仍然极其困难，因为机器人需要跟踪哪些部分已经剥开，并仔细平衡力度，以免损坏橙子。
🥇 项目 5：湿滑环境。金牌任务是用水和海绵清洗油腻的煎锅，银牌任务是清除手指上的花生酱，铜牌任务是擦拭台面。这些任务都要求处理液体、湿海绵以及花生酱或油脂。
为什么容易的事情反而如此困难？
我们的进化祖先很少需要计算多元积分，却必须每天应对严苛的物理挑战。因此，我们的大脑非常擅长用双手操纵物体，也擅长解决许多其他日常物理问题。我们会立刻注意到，让大脑转而解决数学题有多难，却几乎不会费力，因为我们使用大脑做的正是它在进化过程中形成的能力。
恰恰因为我们非常擅长物理交互，构建能够与物理世界交互的机器，比构建能够解决认知任务的机器更难。我们可以通过编程语言向机器“解释”如何执行任务，但这并不比向一个人“解释”任务更有效。想象一下，告诉某人如何拉小提琴或像奥运运动员一样游泳：即使你精通这些任务，你的“说明”也很难超越一个起点。要真正学会这些技能，学生必须亲自练习。
更糟的是，机器人无法将这类指令与现实对应起来，因为它甚至缺乏基本的物理技能——如何握住铅笔、如何拿起刀、如何用海绵擦拭。我们不能告诉它“制作三明治时先拿起刀”，因为它连这项技能最基本的组成部分都不知道如何执行。这些基础构件牢牢属于物理智能的范畴，超出了我们的自省能力。我们无法编程写入物理智能，因为在有意识的层面上，我们其实并不理解它。
语言模型之所以强大，正是因为它们能够捕捉海量知识，并以组合方式进行泛化，将这些知识应用到新问题上。但语言模型本身无法解决物理智能问题，因为它们接受的是人类交流（也就是网络文本）的训练，而人类交流并不传递物理技能。我们不会在网络论坛上详细说明如何移动手臂来清洗油腻的煎锅，因为每个人都已经知道怎么做，而且我们自己也不知道如何把这件事表达出来。即使是过去十年取得巨大进步的当代系统感知能力，也仍然主要建立在解释、图注和标签上——这些正是人类可以轻易用语言传达、也可以从网络获取的信息。
捕捉并应用先验知识
关键在于，将多模态 LLM 能提供的物理任务“理论”理解，与真实物理行为的多样且具有代表性的数据整合起来。这不是一个可以走捷径的领域——正如不使用图像就不可能学会视觉一样，没有足够的数据来为交互提供落地依据，也不可能学会在物理世界中行动。但关键是，创建物理智能基础模型的目标并不是教会模型机器人可能执行的每一种行为，而是提供足够丰富、多样的行为基础，以形成有意义的物理理解，并让多模态 LLM 捕捉到的语义知识获得现实落点。
机器学习革命带来的苦乐参半的启示是：许多我们难以直接编程写入计算机的能力，都可以从数据中学习，但前提是必须有这样的数据。莫拉维克悖论可以被理解为对数据稀疏挑战的描述：如果我们无法从网络数据中学到所需内容，只能被迫进行编程，就不会得到良好性能。如果能够为某项技能获取大量数据，我们应该可以可靠地学会它；但这仍然不够——我们不希望机器人执行的每项任务都需要海量数据。
通用模型如何克服这一悖论
像 π₀.₆ 这样的视觉-语言-动作模型（VLA）能够从高度多样的任务组合中捕捉一般性的物理知识，为学习下游技能提供强大基础，同时只需规模小得多、更加实用的数据集。因此，我们能够通过微调最新的机器人基础模型解决这些任务，而没有使用大规模机器人预训练的基线模型却一个任务也无法解决。随着模型能力增强，即使最复杂的任务也会变得更容易学习。新任务不仅可能需要更少的数据，还可能使用更简单的数据来源，正如我们在近期关于人机迁移能力涌现的文章中讨论的那样；甚至还可以借助强化学习（RL）利用自主经验。随着时间推移，瓶颈将向更高层移动：当我们以通用且稳健的方式解决低层技能后，就能通过更高层训练进一步改进策略（在最初的 π₀.₅ 研究论文中的语言指令训练协议里，我们已经观察到这一点的早期迹象）。当这一过程发生时，我们最终将能够构建真正通用的模型，把物理理解与认知结合起来，并且或许能以一种与人脑并不太不同的方式理解世界。
如果你对这些想法感到兴奋，并希望加入我们的团队，欢迎联系我们！