研究 / RESEARCH

理解世界,预测变化,再决定行动。

从观测到行动的研究路径

世界模型尝试回答:采取某个动作之后,环境可能怎样变化?我们围绕表征、动作条件预测、未来推演、规划与评测开展研究。下方是研究路线示意,并不表示每一环节已经成熟。

RESEARCH PHILOSOPHY

世界模型是什么?

给定当前观测和一种可能的动作,尝试推测环境接下来会怎样变化。这样的预测可帮助系统比较未来并选择行动。

RESEARCH DIRECTION · 研究路线示意

  1. 01观测
  2. 02状态表征
  3. 03动作条件预测
  4. 04未来推演
  5. 05规划
  6. 06行动
  7. 07反馈

路线示意,不代表所有组件已验证或可用于真实机器人。

FOCUS AREAS

01

世界模型

学习环境如何随时间和动作变化。

当前:研究方向。具体实现与测试参见相关仓库。

02

状态表征

从观测中提取可用于预测和行动的状态。

当前:研究方向。具体实现与测试参见相关仓库。

03

动作条件预测

研究不同动作可能引发的后续变化。

当前:研究方向。具体实现与测试参见相关仓库。

04

空间理解

建立关于位置、结构与关系的可用表示。

当前:研究方向。具体实现与测试参见相关仓库。

05

因果与动力学

区分共现、变化与动作后果,保持可检验的边界。

当前:研究方向。具体实现与测试参见相关仓库。

06

规划与控制

探索如何用预测支持目标导向的行动选择。

当前:研究方向。具体实现与测试参见相关仓库。

评测与精选成果

PushT 固定对照实验中,姿态目标规划成功率 66%(33/50),覆盖率目标对照 22%(11/50),提升 44 个百分点。两组使用同一预测器、传感器和每次决策预算;结果仅限此模拟任务。 更多对比包括:带额外物理先验的 JEPA 任务头开发集对照、V-JEPA 表征上的接触任务适配,以及特征与位置预测改进;详见全部成果和各自评测条件。

精选成果 ↗

02 / COMPARISONS

实验和它的对照

完整协议与记录 ↗

六项独立实验。每张图保留任务、基线与条件,点击即可查看原图和实验记录。

PushT · 50 paired scenarios: 姿态目标 33/50;覆盖率目标 11/50。预测器、传感器与每次决策预算一致,仅限此模拟协议。

01 / PushT · 50 paired scenarios

同一预测器 不同规划目标

姿态目标 33/50;覆盖率目标 11/50。预测器、传感器与每次决策预算一致,仅限此模拟协议。

实验记录 ↗
Physion++ · Frozen-feature readouts: 1,189 个样本,固定 V-JEPA-2 特征,新增任务与属性监督。测试集此前已查看,这是复评,不是新盲测。

02 / Physion++ · Frozen-feature readouts

接触任务的表征读出对照

1,189 个样本,固定 V-JEPA-2 特征,新增任务与属性监督。测试集此前已查看,这是复评,不是新盲测。

实验记录 ↗
JEPA · Development contexts: 64 个开发上下文,包含三次本地 JEPA 任务头种子与物理先验配置;不是独立盲测。

03 / JEPA · Development contexts

开发集上的候选选择

64 个开发上下文,包含三次本地 JEPA 任务头种子与物理先验配置;不是独立盲测。

实验记录 ↗
Feature prediction · Action diagnostic: 固定 DINOv2 特征上的归一化 MSE,包含持续性与动作打乱对照;属于特征诊断。

04 / Feature prediction · Action diagnostic

动作条件特征预测

固定 DINOv2 特征上的归一化 MSE,包含持续性与动作打乱对照;属于特征诊断。

实验记录 ↗
H-JEPA · One matched pilot: 同一公开 L3 权重:基线 186 步,retain-best 192 步,两组均成功 1/1。此试验未显示成功率提升。

05 / H-JEPA · One matched pilot

保留初步结果 包括不占优的结果

同一公开 L3 权重:基线 186 步,retain-best 192 步,两组均成功 1/1。此试验未显示成功率提升。

实验记录 ↗
H-JEPA · Controlled L3 kernel: 在受控内核协议中比较梯度与缓存配置。局部计时不能替代端到端规划或机器人任务评测。

06 / H-JEPA · Controlled L3 kernel

推演内核的时间与显存

在受控内核协议中比较梯度与缓存配置。局部计时不能替代端到端规划或机器人任务评测。

实验记录 ↗