-
学习时长
2天
-
答疑服务
1个月线上答疑
这门课程我们教什么
如何让机器人能够在真实物理世界中自主、灵活、可泛化地执行任意动作？如何让机器人能理解视觉、语音、文字等多模态指令，生成对应的行为动作，打通感知-认知-行动交互闭环？这指向了具身智能的两大核心问题：通用运动控制和多模态交互能力，前者决定机器人身体能否灵活行动、动作是否自然流畅，后者决定其能否理解交互意图、精准做出适配行为。
为系统拆解这两大关键能力，本次课程聚焦具身智能领域两项里程碑工作：聚焦通用运动控制的SONIC，作为人形通用全身运控基础模型，首次将大模型Scaling Law引入具身智能，赋予机器人万变适配的通用运动能力；主攻多模态交互的GEM，作为人体动作生成通用模型，统一了运动估计与动作生成，让机器人可依据视频、文本、音乐等多模态指令生成对应行为。线下两天时间，我们将从理论解析、代码实操到真机部署，带你打通运动控制与多模态动作生成的完整实践路径。
实战项目展示
基于SONIC的VR全身遥操作
人形机器人多模态交互控制
课程亮点
深入解析SONIC与GEM的算法内核、架构设计与训练范式。
从理论推导、代码解析到真机部署，完整走通项目落地流程。
实操宇树G1、PICO VR、视频/音乐/文本多模态控制，积累工程经验。
线下实战课程安排
人形机器人迈向通用智能的征途，核心挑战在于如何实现全场景动作的自然泛化、多模态的流畅交互，以及在未知环境中的零样本部署。课程第一天，我们将深度探讨人形机器人通用全身控制的里程碑式方案——SONIC。它开创性地将大模型领域的Scaling Law引入具身智能，以运动追踪为核心任务，构建起了机器人运控的通用基础模型。
1. SONIC 理论解析
- 首个超大规模运动追踪基础模型
- Scaling Law：网络规模、数据容量、计算资源
- 实时通用运动学规划器、统一Token空间
- 大规模动捕数据集
- GMR跨载体运动重定向
- SONIC架构解析
- 任务输入与运动生成
- 编码器与统一Token
- 解码器与执行
- 通用运控策略架构
- 强化学习PPO：训练目标与训练采样
2. SONIC 代码解析
- 代码目录结构
- 配置文件
- 核心网络实现
- 模型训练
3. SONIC 真机实战
- 硬件配置：宇树G1、PICO等
- 软件配置：环境配置Agent、Isaac Lab等
- 部署加速：TensorRT、CUDA Graph等
- 动捕数据motion tracking
- VR上肢关键点遥操作
- VR全身遥操作：高精度全身姿态映射
4. 通用运控总结与讨论
- SONIC的贡献总结
- 局限性与未来挑战
SONIC主要解决人形机器人运控“如何对各种motion都能通用”的核心问题，而GEM则重点解决机器人“如何通过交互生成多样运动”的问题。课程第二天将深入解析GEM（原GENMO）人体运动通用模型，它打破了运动生成与运动估计的任务壁垒，是当前人体运动建模的标杆性工作。
1. GEM 理论解析
- 人体运动建模概述与挑战
- 当前主流的HMR系列
- 人体运动生成的数据规格
- GEM的核心创新：统一范式与双模训练
- 多文本注意力机制
- 双模式训练范式详解
- 实验分析与核心结论
- 全局运动估计
- 动作生成质量
- 消融实验结果
- GEM-X：身体+手+脸
- 77关节SOMA人体模型
- 捆绑式2D关键点检测器
- SOMA重定向器
2. GEM 代码解析
- 代码目录结构
- 核心网络实现
- 模型训练与推理
3. SONIC & GEM 仿真与真机实战
- Video2Motion转换流程
- Txt2Motion转换流程
- Music2Motion转换流程
- Video2Motion实践：从GEM到SONIC
- Txt2Motion实践：机器人跟随指令动作
- Music2Motion实践：机器人随歌而舞
4. 课程总结
线下实训提供的软硬件设备
-
机器人：宇树人形机器人G1开发版
-
VR设备：Pico4 Ultra，含腰部和腿部追踪器
-
工作站：RTX 4090/3090 GPU、显存≥24G、Ubuntu22.04操作系统
-
软件工具：Isaac Sim&Lab、MuJoCo、TensorRT
这门课适合谁
更多信息，请添加客服咨询
