🧠 VLA 研究员 4 周入门 (Path)

目标

Tip

学完你能做什么：微调 OpenVLA-7B 在你的机器人上跑 / 用 Octo 跑实时推理 / Sim-to-Real 迁移。

前置：会 PyTorch / Transformer / Python 扎实 / 读过 CS231n 或等价课程。

预算：¥20,000 起步（含云 GPU + 推理硬件）。

路径总览

Week 1 (8h)   ▓░░░░░░░░░░░░░░░░  理论 + 仿真环境
Week 2 (10h)  ▓▓▓░░░░░░░░░░░░░░  OpenVLA-7B 微调 (仿真)
Week 3 (12h)  ▓▓▓▓▓░░░░░░░░░░░░  Octo / Pi-0 实时推理
Week 4 (14h)  ▓▓▓▓▓▓▓░░░░░░░░░░  真机 Sim-to-Real (可选)

Week 1：VLA 理论 + 仿真环境 (8h)

完成标志：能讲清 OpenVLA / Pi-0 / Octo 区别，在 LIBERO 仿真跑通 baseline。

Day	任务	文档	预计
Day 1	读 OpenVLA / RT-2 论文	VLA 横评	3 h
Day 2	装 Isaac Sim + LIBERO 仿真	Isaac Sim	4 h
Day 3	跑通 ACT baseline (LIBERO 10 任务)	VLA 横评 §ACT	1 h

Tip

第 1 天推荐读：

• OpenVLA: An Open-Source Vision-Language-Action Model
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

Week 2：OpenVLA 微调 (10h)

完成标志：在 LIBERO 10 上能拿 70%+ 成功率。

Day	任务	文档	预计
Day 4	装 OpenVLA 环境 + 拉 7B 模型	OpenVLA 详解 §安装	2 h
Day 5	准备数据集 (RLDS 格式)	OpenVLA 详解 §数据	1 h
Day 6	微调 (4× A100, 1 天)	VLA 横评 §OpenVLA 微调	1 h setup + wait
Day 7	评估 + 看 wandb 曲线	OpenVLA 详解 §评估	2 h

Caution

4× A100 一周 = ¥1,500-2,000。单卡 RTX 4090 也可，但训练时间 ×4。

Week 3：轻量 Octo 实时推理 (12h)

完成标志：在 Jetson Orin 上跑 Octo-27M 30 Hz 实时。

Day	任务	文档	预计
Day 8	装 Octo 环境	VLA 横评 §Octo	2 h
Day 9	在 LIBERO 跑通 Octo baseline	—	1 h
Day 10	微调 Octo-27M on your task	VLA 横评 §Octo	3 h
Day 11	导出 ONNX + 在 Jetson Orin 跑	Isaac Sim 部署	4 h
Day 12	测延迟 + 优化 (TensorRT)	—	2 h

Note

Jetson Orin Nano 8GB 跑 Octo-27M 实时 30 Hz；Orin NX 16GB 跑 OpenVLA-7B 4-bit 量化 10 Hz。

Week 4：真机 Sim-to-Real (14h, 研究级)

完成标志：仿真训练的策略在真机 SO-100 上有 50%+ 成功率。

Day	任务	文档	预计
Day 13	装 SO-100 + LeRobot	LeRobot SO-100	5 h
Day 14	真机采 50 条 → 仿真迁移	VLA 横评 §Sim-to-Real	4 h
Day 15	域随机化 (DR) 训练	Isaac Sim §DR	3 h
Day 16	真机部署 + 评估	LeRobot SO-100 §步骤 8	2 h

学完后的”前沿”路径

方向	资源
更快的流式输出	Pi-0 / Pi-0.5
跨平台预训练	HPT (Heterogeneous Pre-Trained Transformers)
长程任务	CALVIN benchmark
多模态 (vision + touch)	Octo + 力矩传感
世界模型	DreamerV3 for robotics
学术发表	CoRL / RSS / ICRA 投稿

物料清单总览

物料	价格	必备 / 可选
云 GPU (2-4× A100 2 周)	¥4,000-8,000	必备
SO-100 双臂 + RealSense	¥5,000	必备
Jetson Orin NX 16GB	¥5,000	必备
Isaac Sim 主机 (RTX 4090 64GB)	¥20,000	必备
总计	¥34,000-38,000	—

Tip

没预算？纯仿真路线：Week 1-2 完成即可，能在 LIBERO 上刷到 70%+ 已经是优秀 paper-worthy baseline。

风险提示

Caution

• VLA 推理慢 (3-5 Hz) = 真实任务跟不上 —— 选 Octo / Pi-0 30+ Hz 模型
• 仿真到真机鸿沟 (Sim2Real gap) —— 必须做域随机化 + 真机微调
• 数据不够 (50 条) = 模型记不住 —— 简单任务 50 条，复杂任务 500+ 条
• 显存爆炸 = 训练 OOM —— 用 LoRA / 4-bit 量化 / gradient checkpointing
• Isaac Sim 装不上 = GPU 太老 / 驱动版本不对 —— 升到 RTX 40 系 + NVIDIA 555+ 驱动

配套资源

• 📚 必读论文：
  • OpenVLA (2024)
  • Octo (2024)
  • RT-2 (2023)
  • Pi-0 (2024)
• 📖 LIBERO benchmark: libero.stanford.edu
• 💬 r/robotics · r/learnmachinelearning
• 🎓 斯坦福 CS224R / CMU 16-665 课程
• 📺 YouTube: Stanford HAI seminar 频道

提交你的成果

完成路径后欢迎：

• 📝 在 GitHub Discussions 写一篇复盘
• 🎥 录一段真机部署视频 → B站 / YouTube 链接发到 Discussions
• 🐛 发现词条过时 → 直接 PR 改 (项目内置 droidflight-author-guide 技能)