具身智能从原理到真机实战
带你搭建自然语言驱动的具身 Agent 系统
Leo  某大厂 AI 大模型应用负责人
飙升榜 第3名
专栏
未完结·共 25 讲·已更新 3 讲·每周一 / 三 / 五更新
|
89 人已学
|
收藏

课程交流群

购课后,欢迎加入课程交流群,> 戳此加入 <

你将获得

  • 基础:让 Agent 开发经验无缝迁移到具身智能
  • 成本:无需昂贵 GPU,低成本机械臂跑通实操
  • 路径:打通从数据采集到真机成功率的完整闭环
  • 成果:产出可演示、可测评、可迭代的真机作品

AI 导学

具身智能不是从零造轮子,而是将已有工程能力迁移到物理世界。对后端与架构背景的开发者而言,关键在于理解如何把 Agent 的规划、工具调用等能力,与感知、动作生成和硬件执行打通。课程围绕 LeRobot 框架,系统讲解从数据采集质检、轨迹还原到模型训练的完整闭环,明确 ACT、Diffusion 与 SmolVLA 等动作头的适用边界;同时深入真机集成细节,包括电机控制、相机标定、安全限幅与失败诊断,最终组装出可演示、可迭代的具身 Agent 作品。你将建立从仿真到真机的工程化路径认知,掌握低成本验证与持续迭代的方法。

课程介绍

Agent 正在从屏幕走向物理世界,能自主完成任务、会调用工具的它,下一步要实现的是:如何看见世界、理解环境,并真正完成一系列动作?

对有 Agent 开发经验的工程师来说,这不是从零开始,而是带着工程方法论「降维」进入一个紧缺工程师的领域——具身智能。

从“模型能训练”到“机器人能稳定完成任务”,要补哪些知识、留下哪些证据,怎样排查失败,这个过程中存在一条高效的能力迁移路径,这门课分享的就是这条路径。

课程设计:

课程由五个模块组成,始终围绕同一条主线推进。

原理底座篇先回答“为什么”。你会用 MDP 看懂感知、决策和执行,分清模仿学习、强化学习与 VLA 的边界,再沿着协变量偏移理解单帧 BC 为什么一进闭环就容易崩,以及 ACT、Diffusion、Flow Matching 三类动作头分别在解决什么问题。

数据平台篇处理最容易被低估的一层。你会从一帧数据出发,读懂 LeRobot Dataset v3 的 Parquet、MP4、metadata 和 stats,随后把采集纪律、质检、加工、打标、轨迹还原与失败补采接成数据飞轮。你不只会“录数据”,还会判断一批数据为什么值得训练。

LeRobot 框架实践篇进入模型。先沿数据流和 processor 合同排查真机乱动,再建立 ACT 基线。随后再做 Diffusion 的公平对照和 SmolVLA 的参数高效微调,判断什么时候该换模型,什么时候应先修数据和执行链路。

真机机械臂篇把策略接到 SO-101。从电机、总线、标定和相机建立硬件心智模型,依次通过连通、安全、小步运动、遥操作、采集、回放、训练和评测。这里不会把真机当作最后一讲的彩蛋,安装、校准、遥操作和失败诊断本身就是主线。

工程交付篇把前面的能力组装起来。大模型提出计划,技能层限定任务范围,ACT 或 VLA 生成连续动作,再逐项接入限幅、停止、接管和运行记录。最终交付一份可用于面试求职的具身 Agent 作品集。

课程提供配套仓库:https://github.com/qingxunwz-cmyk/lerobot-data-lab

我们目前身处机器人开发窗口期,期待与你一起投身具身智能浪潮,共同参与这一前沿领域的成长与突破!

课程目录

查看更多
免费试读

适合人群

  • 有 AI Agent / LLM 应用开发经验的工程师
  • 想转入具身方向的算法 / 后端 / 全栈工程师
  • 有 SO-101 或有兴趣了解,想体验真机的人
  • 需要一定 Python 编程基础,不需要先啃强化学习

⚠️ 不要求 GPU,没有真机也能学,纯仿真零投入,有机械臂操作演示,确定有兴趣后再接入机械臂。

订阅须知

  1. 订阅成功后,推荐通过“极客时间”App 端、Web 端学习。
  2. 本专栏为虚拟商品,交付形式为图文 + 音频,一经订阅,概不退款。
  3. 订阅后分享海报,每邀一位好友订阅有现金返现。
  4. 戳此查看最新课表极客时间 VIP 超值福利,掌握前沿趋势。
  5. 企业采购推荐使用“极客时间企业版”便捷安排员工学习计划,掌握团队学习仪表盘。
  6. 戳此申请学生认证,订阅课程享受原价 5 折优惠。
  7. 价格说明:划线价、订阅价为商品或服务的参考价,并非原价,该价格仅供参考。未划线价格为商品或服务的实时标价,具体成交价格根据商品或服务参加优惠活动,或使用优惠券、礼券、赠币等不同情形发生变化,最终实际成交价格以订单结算页价格为准。
讲师

Leo

某大厂 AI 大模型应用负责人

16 年软件工程经验,目前在国内头部互联网大厂负责大模型核心项目。曾先后主导金融大模型、AI Coding 平台和保险智能体等多个企业级产品的 0 到 1 落地——从多智能体协同架构、复杂任务的规划与编排,到多模态大模型从数据构建、微调到生产部署的端到端闭环,完整跑通过大...查看更多
看过的人还看了
AI 时代的人机协同与组织升级
李明轩
Baseline Group 创始人,前百度 P8 产品运营专家

7讲 | 147 人已学习

¥29¥69
Claude Code 工程化实战
黄佳
新加坡科研局资深研发工程师

35讲 | 25299 人已学习

¥59¥129
构造 AI 驱动的测试智能体
刘则
某互联网公司测试负责人,AI 智能体评测与智能化测试专家

9讲 | 266 人已学习

¥49¥69
AI 产品力实战课
王爽爽(栗子)
前快手、作业帮数据中台产品经理,企业 AI 产品力教练

20讲 | 614 人已学习

¥59¥90
从 0 开始构建 Agent Harness
Tony Bai
资深架构师

26讲 | 8433 人已学习

¥59¥99
AI 原生开发工作流实战
Tony Bai
资深架构师

28讲 | 13811 人已学习

¥59¥99