编者按（具身君）：
当机器人数据规模翻过某个临界点，曾经被视为“必要设计”的东西，正在悄悄变成“拐杖”。未来图像预测、元信息标签……这些在小数据时代“被委以重任”的技巧，随着数据量膨胀，反而可能拖累模型。这不是技术对错的问题，而是尺度改变规则。
今天这篇分享，我们从π0.7背后的信号聊起，看看在具身智能这场浪潮里，哪些要素能活到终局？
本文经 @bobo 授权分享。原文如下：
相对于 π0.7 “好看”的Demo，我更感兴趣的是它背后隐含的信号：
随着 robot data 的规模增大，有些东西正在从 "必要设计" 变成 "拐杖"。这不是什么新观点 ——scaling data 是 AI 领域的共识了。
但在机器人这边，这条曲线具体长什么样，哪些模块会先死，目前还没有太多人系统聊过。
看到 Lucy Shi 在 X 上提到背后的故事：
她过去一年在做世界模型相关的工作，令人兴奋，一开始世界模型展现了更好的泛化；可随着数据量扩大，没有太多额外技巧，VLA 就开始展现出组合泛化和跨本体迁移的能力，吞噬了她原本的研究项目，苦涩的教训再次袭来。
在这种叙事下，对于 researcher 最重要的事情可能就是认清楚：什么是 data scale 终局下的拐杖，什么是拐杖背后的必要要素。拐杖可能会被抛弃，必要要素会一直存在。
这里，我想聊两个我觉得有意思的例子。
World Action Model，主力还是辅助？
先说清楚概念。
这里说的 "世界模型" 不是 LeCun 意义上的 World Model + MPC，而是具体的一类做法：
用未来图像预测（ future image foresight）来辅助 action 生成，也就是现在常见的 WAM（World Action Model）。
形式上有两种：
作为 condition：先预测未来图像 o'，再从中推出动作：
a = IDM(wm(o'|o, l))
作为 joint training loss：未来图像预测和动作预测一起训练。
DreamZero、cosmos policy 这类工作在小数据量下泛化表现确实不错。但有一个细节值得注意：
这些实验都是在数据量不足的条件下做的 —— 而这恰好是 future image foresight 最能发挥作用的时候。
两者都是基于当前观测对未来状态演化做预测。
Action 可以理解为未来观测 o' 的低维投影。
Future image foresight 能 work，根本原因是 action 数据量不够，图像预测充当了替代性监督信号。
等 action 数据量足够了，o' 的训练贡献会越来越小。
-
作为 condition 的方式问题最大，bottleneck 最明显（Fast WAM 和 DreamZero 的实验已经有一些这方面的暗示）；
-
joint training loss 的方式稍好，起到辅助作用，但随着数据增大，也可能会成为瓶颈。
那 π0.7 为什么选了 subgoal image 而不是连续视频预测？
我的猜测是：到了 π0.7 的数据规模，action 数据已经足以覆盖任务的中间过程，缺的只是 OOD 场景下 "最终状态长什么样"
——所以只需要一张目标图就够了。
这是 future image foresight 从 "全程拐杖" 退化为 "仅在目标端起作用" 的一个体现。
但，学术界狂欢，工业界遇冷。随着数据继续增大，future image foresight 是否会幸存？
这还是一个未知数。
Metadata as Context，一个强力拐杖
π0.7 原文里有一句话：
Episode metadata effectively disambiguates the different data quality and strategies within the large-scale datasets during π0.7 training, and enables prompting for the desired mode of behavior at test time.
Metadata 设计的存在，本质上是在弥补一个缺口：
现在的 VLA 没有真正的 context 建模能力。
在 LLM 的训练里，随着 token index 增大，困惑度自然降低：模型从上下文中积累信息，历史自然地被利用起来。
但现在的 VLA 几乎不带历史，每一步都在 "失忆"。
Metadata（质量标签、速度标签、执行阶段）是一种硬编码的弥补方式，用手工构造的外部标签代替模型本应从历史轨迹中自己学到的信息。
这些东西理论上完全可以、也应该包含在 agent 自身的历史观测里。
Metadata 有效，但它是 patch，不是 solution。真正的解法是让 VLA 变成像 LLM 一样的序列模型，带着完整的历史上下文做决策。
在那之前，metadata 是一根管用的拐杖，超长文本遇到的效率困境也会同样出现在图像空间。
在 long context 出现下一个新技术前，一切革新都为时尚早 —— 这根拐杖目前看起来仍在未来一段时间内会有效。
随便聊聊，欢迎讨论！
文章来源：📕作者@bobo 授权分享-http://xhslink.com/o/1pNKkln5yGL
扫码添加阿蓝，选择想要加入的交流群即可
（按照提交顺序邀请，请尽早选择）
👇
