STEMM 智能机器人是一个面向智能陪伴与服务机器人的一体化研发项目,覆盖机器人端侧固件、云端语音服务、声纹识别、小程序前后端、IoT 通信、提醒日程系统和底盘导航控制等模块。
项目目标是构建一套可以真实运行在机器人硬件上的完整系统,让机器人不仅能“聊天”,还可以识别说话人、管理提醒日程、联动小程序、接入云端服务,并逐步具备移动导航和任务执行能力。
本组织用于统一管理 STEMM 智能机器人相关代码。
它不是单一 Demo 项目,而是一套围绕真实机器人产品逐步拆分出来的工程集合,包括:
- 机器人端侧固件
- Python 机器人云端服务
- 声纹识别服务
- 小程序前端
- 小程序后端
- 机器人提醒 / 日程系统
- 设备通信与 OTA
- 底盘导航控制模块
- 后续传感器和执行器扩展模块
STEMM 智能机器人的核心目标是:
- 支持自然语音对话。
- 支持不同用户的声纹识别。
- 支持通过小程序管理设备、闹钟、日程和用户配置。
- 支持用户通过语音直接创建闹钟和日程。
- 支持云端服务长期稳定运行。
- 支持机器人设备远程连接、OTA、MQTT 唤醒和状态同步。
- 支持后续接入底盘导航控制,实现从“语音交互”到“移动执行”的扩展。
| 模块 | 仓库 | 说明 |
|---|---|---|
| ESP32 设备固件 | xiaozhi-32 |
机器人端侧固件,负责网络连接、音频采集播放、蓝牙配网、WebSocket / MQTT 通信、OTA 和硬件交互。 |
| Python 机器人服务端 | xiaozhi-server |
机器人云端核心服务,负责设备长连接、ASR、LLM、TTS、提醒调度、声纹联动、OTA、MCP 工具和测试页面。 |
| 声纹识别服务 | 3d-voiceprint / voiceprint-api |
基于 3D-Speaker 的声纹识别能力,提供注册、识别、删除和说话人身份返回。 |
| 小程序前端 | miniapp-frontend |
用户侧入口,用于设备绑定、计划管理、闹钟日程、配置展示和机器人状态交互。 |
| 小程序后端 | miniapp-backend |
用户、设备、绑定关系、闹钟、日程、机器人专用接口等业务逻辑。 |
| 底盘导航控制 | chassis-navigation |
后续机器人移动能力模块,负责底盘控制、导航任务、路径执行和上层任务联动。 |
用户
│
├── 小程序
│ ├── 小程序前端
│ └── 小程序后端
│ ├── 用户登录与鉴权
│ ├── 设备绑定关系
│ ├── 闹钟 / 日程管理
│ ├── 提醒任务同步
│ └── 机器人专用服务端接口
│
└── 机器人设备
├── ESP32 主控固件
├── 麦克风
├── 喇叭
├── 屏幕 / 表情显示
├── 传感器
└── 底盘控制模块
│
▼
Python 机器人服务端
├── WebSocket 长连接
├── MQTT 唤醒
├── OTA 服务
├── ASR 语音识别
├── LLM 对话推理
├── TTS 语音合成
├── 声纹识别 API
├── 闹钟 / 日程提醒调度
├── MCP 工具系统
└── 多模态能力扩展