三种颜色代表三种状态
绿色 = 已经有人跑通,你可以直接参考;黄色 = 有原型或设计文档,需要更多测试和打磨;灰色 = 完全空白,正是你提第一个 PR 的好机会。
已完成
核心框架、仿真器、ReKep/VLN/Franka 等真机链路、Runtime 会话循环、感知插件管道已验证。这些是稳定的参考基线。
进行中
扩展 runtime 注册表至真实 benchmark 和机器人 target。长程编排、IoT 接入、Fleet 多机协议已有雏形,但需要更多场景测试。
待开发
并发多 target 调度、资源仲裁、幻尔驱动、ROS2 深度手册。切入点明确,阻力最小。
三阶段路线图
Phase 1 · 桌面闭环
✓ 已验证让单机器人端到端跑通:感知 → 决策 → 动作 → 状态回写。证明 Markdown 协议这条路走得通。
Phase 2 · 多机协同
⋯ 进行中多台异构机器人共享环境、任务拆解、协同执行。加入长程记忆和经验教训复用。
Phase 3 · 高阶协同
○ 规划中复杂时空约束、资源调度、跨场景工业级任务。这是更远的未来。
8 款机器人适配进度
下面是目前支持的硬件清单。想接新设备?看看有没有和你手上那台接近的参考实现。
桌面机械臂 · ReKep + SAM3 全链路已验证
桌面机械臂 · ReKep 部署已验证
双臂机器人 · 一键部署已实现
工业级 · 视觉问答 + 抓取已实现
四足 · 移动 + 语义导航可用,复杂动作待补齐
移动操作 · locomotion 适配中
IoT · 语音对话可用,动作控制协议待设计
教育机器人 · 适合新手入门的练手项目
专题缺口 · 高优先级
Fleet 编排与多机协同
TASK.md 和 ORCHESTRATOR.md 协议已有,但调度策略、冲突处理、机器人选择逻辑还需要更多场景验证。
Runtime 注册表扩展
会话循环和感知管道已在 DummySimTarget 上验证通过。下一步:扩展至真实 benchmark target(LIBERO、RoboCasa)、真机 target,以及并发多 target 调度。
ROS2 适配开发手册
已有 cmd_vel/lidar/odom/rgbd 等 adapter 代码,但缺少面向开发者的完整接入指南。
感知插件扩展
内置 dummy 插件已可用。下一步:集成 SAM3、YOLO、Open3D、RealSense 作为懒加载插件,并用真实传感器数据验证完整闭环。
根据背景选择切入点
| 您的背景 | 建议起点 | 预期产出 |
|---|---|---|
| 拥有机器人设备,熟悉其 Python SDK | 编写 Driver + Profile + 最小测试 | 一个 Watchdog 可直接加载的新 Driver |
| 具备 ROS2 / 导航 / 感知开发经验 | 补充 ROS2 适配文档、扩展现有 adapter | 降低 ROS2 用户接入门槛的完整指南 |
| 前端 / 运维 / 云原生背景 | 编写 gateway 部署文档、Docker 化方案 | 一份可投入生产的部署手册 |
| 无硬件设备,进行纯软件贡献 | 仿真器场景、测试用例、文档站改进 | 不依赖真机即可合并的 PR |