具身智能推导课:从模仿学习到世界动作模型
VLA 负责行动,世界模型负责想象,世界动作模型(WAM)二者兼得。推导核心数学(ELBO、DDPM、Flow Matching),横向对比主流系统(RT-2、π0、GR00T N、Genie 3、V-JEPA 2、Cosmos、GAIA-2),并精读 DreamZero 与 Dream-1。
- VLA:行动
- 世界模型:想象
- WAM:二者兼得
- 策略学习
- 00
全景图
- 具身智能全景图:VLA、世界模型与 WAM (即将上线)计划中
- 学习路线 (即将上线)计划中
- 01
模仿学习
策略学习- 行为克隆与误差累积 (即将上线)计划中
- DAgger:解决分布偏移 (即将上线)计划中
- ACT:动作分块与 CVAE (即将上线)计划中
- Diffusion Policy:多峰动作分布 (即将上线)计划中
- 02
生成模型数学工具箱
- VAE 与 ELBO (即将上线)计划中
- 从 ELBO 推导 DDPM (即将上线)计划中
- 扩散模型的 score 视角 (即将上线)计划中
- Flow Matching 与 Rectified Flow (即将上线)计划中
- 隐空间视频扩散与少步采样 (即将上线)计划中
- 03
视觉-语言-动作模型(VLA)
VLA:行动- RT-2:把动作当作 token (即将上线)计划中
- OpenVLA 与 Octo:开源通用策略 (即将上线)计划中
- π0 与 π0.5:基于 Flow Matching 的动作专家 (即将上线)计划中
- GR00T N:双系统人形机器人模型 (即将上线)计划中
- 国产 VLA:RDT-1B、GO-1 等 (即将上线)计划中
- VLA 横向对比 (即将上线)计划中
- 04
世界模型:四条路线
世界模型:想象- 世界模型的四条路线 (即将上线)计划中
- Genie 3:可交互的像素世界 (即将上线)计划中
- V-JEPA 2:在隐空间中预测 (即将上线)计划中
- Cosmos:面向物理 AI 的世界基础模型 (即将上线)计划中
- GAIA-2:可控的驾驶世界模型 (即将上线)计划中
- 05
世界动作模型(WAM)
WAM:二者兼得- 什么是世界动作模型(WAM)?草稿
- DreamZero:论文精读与实验 (即将上线)计划中
- Dream-1:从论文到产品 (即将上线)计划中
- 开放问题 (即将上线)计划中
加入候补名单
新课程、新卡片和完整版路线图海报上线时第一时间通知你。不发垃圾邮件。
报名即将开放。在此之前,可以写信到 contact@dpintelli.com。