迪普学堂
课程目录

机器人强化学习：从 PPO 到自我改进的 VLA

系列一教机器人模仿，系列二教机器人自我改进。从 TRPO→PPO、DQN→TD3→SAC 的推导出发，复现真正影响效果的 PPO 实现细节，再讲视觉强化学习、样本效率之争，以及从 World Models 到 Dreamer 4 的基于模型的强化学习。最后落到机器人实战（大规模并行仿真、虚实迁移、真机强化学习）与前沿：VLA 的强化学习后训练，以及连接大语言模型的 PPO→GRPO。

  1. 01

    基础：从策略梯度到 PPO

    1. MDP 与 Bellman 方程：强化学习的基本语言计划中
    2. 策略梯度：REINFORCE、基线与对数导数技巧计划中
    3. Actor-Critic 与 GAE：优势函数怎么估计划中
    4. 从 TRPO 到 PPO：信任域与裁剪目标的推导计划中
    5. PPO 实现细节：真正影响效果的开关与调试方法计划中
  2. 02

    值函数与异策略强化学习：从 DQN 到 SAC

    1. DQN 家族：经验回放、目标网络、Double Q 与 Rainbow计划中
    2. DDPG 与 TD3：确定性策略梯度与过估计问题计划中
    3. SAC：最大熵强化学习与自动温度调节计划中
    4. 离线强化学习与离线到在线：CQL、IQL、AWR、RLPD计划中
    5. PPO vs SAC：并行仿真时代的同策略与异策略之争计划中
  3. 03

    视觉强化学习与样本效率

    1. 从像素学控制：SAC-AE、RAD、DrQ 与 DrQ-v2计划中
    2. 表征与泛化：CURL、SPR、预训练视觉编码器与 DMC-GB计划中
    3. 样本效率之争：Atari 100k、高 UTD、网络重置与 BBF计划中
    4. 强化学习网络扩展：SimBa、BRO 与千层网络计划中
  4. 04

    专题：基于模型的强化学习与用于控制的世界模型

    1. 基于模型的强化学习入门：Dyna、PETS 与 MBPO计划中
    2. World Models 与 PlaNet：在隐空间里做梦计划中
    3. Dreamer v1–v3：在想象中学习行为计划中
    4. 用学到的模型做规划：MuZero、EfficientZero V2 与 TD-MPC2计划中
    5. Dreamer 4 与生成式世界模型：IRIS、STORM、DIAMOND计划中
  5. 05

    机器人强化学习：并行仿真、虚实迁移与真机学习

    1. 几分钟学会走路：大规模并行仿真 + PPO计划中
    2. 虚实迁移（Sim-to-Real）：域随机化、特权教师、RMA 与 ASAP计划中
    3. 人形机器人动作跟踪：从 DeepMimic 到 BeyondMimic 与 SONIC计划中
    4. 真机强化学习：SERL、HIL-SERL 与 DayDreamer计划中
  6. 06

    前沿：VLA 与大模型的强化学习后训练

    1. 扩散与 Flow Matching 策略的强化学习：DPPO、DSRL 与 FPO计划中
    2. 仿真中的 VLA 强化学习微调：SimpleVLA-RL、RL4VLA 与 πRL计划中
    3. 从经验中自我改进的 VLA：π*0.6/RECAP、RL Token 与 GR-RL计划中
    4. 以世界模型为训练环境：WMPO、VLA-RFT 与 Ctrl-World计划中
    5. 从 PPO 到 GRPO：机器人强化学习与大语言模型强化学习计划中

加入候补名单

新课程、新卡片和完整版路线图海报上线时第一时间通知你。不发垃圾邮件。

报名即将开放。在此之前，可以写信到 contact@dpintelli.com。