EMBODIED INTELLIGENCE
端侧具身智能系统（在研）
以一个端侧算力平台为底座，把视觉感知、运动决策与执行连成一条闭环。目前处在方案验证与链路搭建阶段，页面按实际进度更新。
Perception → Policy → Action，目标是全部跑在端侧
0 TOPS
BPU
0
CPU CORES
0%
ON-DEVICE
Sensors双目相机 · 本体状态
Perception深度估计 · 手势
Decision状态机 · 优先级仲裁
PolicyRL / VLA（规划中）
Actuators运动指令
OVERVIEW / 01
项目概述
具身智能的关键不在于模型多大，而在于智能体能否在真实物理环境里完成感知、决策与行动的闭环。这条路线的起点是端侧算力：先把视觉链路跑通，再逐步接入决策与执行。
本页记录的是这条路线当前的真实进度 —— 哪些已经跑通、哪些还在做、哪些只是计划。不把「打算做」写成「已经做完」。
CAPABILITIES / 02
核心能力
端侧视觉感知
在 RDK X5 上完成双目深度估计模型的端侧部署并输出深度图；避障判定仍在调试。［已跑通］
手势交互
基于手部关键点的几何分类器实现手势控制，配多帧确认防抖与手势消失即停。［已跑通］
运动指令仲裁
定义三级运动优先级（紧急避障 > 手势 > 语音）与指令安全层的需求边界。［已跑通］
语音与多模态决策
把设备能力封装成大模型可调用的工具，打通「语音意图 → 工具调用 → 设备控制」闭环。［规划中］
ARCHITECTURE / 03
系统数据流
感知、决策、执行三层解耦，每一层都可以独立替换与压测。
硬件平台
RDK X5地平线旭日 X5 · 8 核 CPU + BPU 10 TOPS
双目相机模组用于深度估计与视觉感知
运动执行机构轮足底盘与关节驱动（规划中）
软件框架
ROS 2节点通信与消息传递骨架，负责部署与调度
Linux / Ubuntu端侧运行环境与交叉编译工具链
核心算法
StereoNetMediaPipeOpenCVPyTorchNumPyROS 2
PROGRESS / 04
开发进度
- 端侧开发环境搭建已跑通
- 摄像头取流与图像预处理已跑通
- 双目深度模型端侧部署已跑通
- 多帧确认与指令安全层已跑通
- 语音交互与工具调用链路在研
- 运动控制算法实现规划中
- 整机系统集成与测试规划中
NEXT / 05
下一步
01
把模型部署从「跑通推理」推进到「能量化评估」：走通量化工具链，补上精度与时延数字
02
补齐运动控制链路：先在关节空间跑通位置控制，再谈轨迹跟踪
03
尝试微调一个开源 VLA 模型，验证语言指令到动作的链路
StereoNetMediaPipeOpenCVPyTorchNumPyROS 2RDK X5ROS 2Sim2RealVLA