Workbench 处于 ShiMetaPi 全家桶的中间层——上接 AIHub 云端训练平台,下接 Pico-G1 板端。它本身不训练模型,也不直接做 NPU 推理计算,而是一个集成调度 IDE。
┌────────────────────────────────────────────────────────────────────────────────┐
│ │
│ AIHub 云端 Workbench IDE Pico-G1 板端 │
│ (aihub.shimetapi.cn) (Windows) (192.168.49.10) │
│ │
│ ┌──────────┐ ┌──────────────┐ ┌──────────┐ │
│ │ 训练任务 │ ───HTTPS───────▶ │ 模型 Tab │ ──SSH───▶ │ /mnt/ │ │
│ │ 模型仓库 │ │ 一键部署 │ │ models/ │ │
│ │ 社区广场 │ │ │ │ xmm/ │ │
│ └──────────┘ │ │ └──────────┘ │
│ │ 视觉 Tab │ ──HTTP──▶ shimeta-svp │
│ │ shimeta-svp│ shimeta-xmm │
│ │ shimeta-xmm│ │
│ │ │ ──HTTP──▶ shimeta-py │
│ │ shimeta-py IDE│ v1.0.4 │
│ │ │ (Python 运行时) │
│ │ Agent Tab │ ──SSH───▶ shimetad │
│ │ Claude Code │ (无密码) │
│ └──────────────┘ │
│ │
└────────────────────────────────────────────────────────────────────────────────┘
| 职责 | 不做 |
|---|
| 上传/管理训练数据集 | 不直接控制板端 |
| 启动 GPU 训练任务 | 不下发推理指令 |
| 维护官方模型库与社区广场 | 不解析板端推理结果 |
导出 .xmm.zip 模型包 | 不存储板端日志 |
| 职责 | 不做 |
|---|
| AIHub 账号登录、Token 缓存 | 不参与模型训练 |
| 板端 SSH 连接、设备列表管理 | 不做 NPU 算子 |
| 模型 Tab 浏览、筛选、模型详情 | 不重新编译模型 |
一键部署(zip 推送到板端 /mnt/models/xmm/) | 不存储大量训练数据 |
| shimeta-py IDE 编辑 Python 脚本并送板端运行 | 不渲染 YUV 图像 |
| 视觉 Tab 启动 shimeta-svp / shimeta-xmm | 不实现推理算法 |
| 内嵌预览右侧"物象"框(摄像头画面) | 不存储摄像头原始流 |
| Agent Tab Claude Code 自然语言操作 | — |
| 右侧资源监控(CPU/MEM/TMP/IPC) | — |
| 工具 | 职责 | 调用方式 |
|---|
| shimeta-py v1.0.4 | Python 运行时(IDE 编辑的代码直接跑) | IDE SSH 调用 |
| shimeta-svp | 9 种预编译场景化检测(人形/人脸/车辆/非机动车/人脸情绪/驾驶员监测/人头数/火焰烟雾/人体关键点) | IDE 视觉 Tab 按钮触发 |
| shimeta-xmm | 用户自定义 .xmm 模型推理 | IDE 视觉 Tab 面板触发 |
| 不做 | 说明 |
|---|
| 不连公网训练 | 模型训练在 AIHub 完成 |
| 不做用户登录态 | 账号体系在 IDE 层 |
| 不存模型仓库 | 模型来自 AIHub |
用户在 AIHub 完成训练并导出 .xmm.zip
│
▼
用户在 IDE 模型 Tab → 模型广场/用户模型 选模型
│
▼ 点击"部署到板卡"
│
IDE 自动 SSH 推送:
scp <model>.xmm.zip → root@192.168.49.10:/mnt/models/xmm/
│
▼
板端解压到 /mnt/models/xmm/<model>.xmm/
│
▼
视觉 Tab → shimeta-xmm 面板自动出现该模型
│
▼
用户点击"运行" → shimeta-xmm 启动
│
▼
右侧"物象"框显示摄像头画面(含检测结果)
用户在 IDE 终端 Tab 输入
ssh root@192.168.49.10
shimeta-svp person
│
▼ SSH 通道
板端执行命令,结果 stdout 回传到 IDE 终端
[板端 shimeta-camera 或 shimeta-xmm 服务]
├─ MJPEG 流(端口 8080 /stream) ──HTTP──▶ [IDE 右侧"物象"框]
├─ 检测结果 JSON(/api/status) ──HTTP──▶ [状态面板]
└─ RTSP 流(端口 554) ──RTSP──▶ [VLC 外部播放]
用户在 IDE Agent Tab 输入自然语言指令
"查看板卡当前 IP 和 CPU 占用"
│
▼ Claude Code 解析
│
Agent 自动生成 SSH 命令 + 执行
│
▼ SSH 通道
板端 shimetad 执行,结果回传 Agent
│
▼
Agent 用自然语言回复用户
| Workbench 强依赖 | Workbench 不依赖 |
|---|
| AIHub 账号(用于登录、模型训练链接) | 板端公网出网(仅 SSH 即可) |
| Pico-G1 板端(SSH 22 端口可达) | AIHub 训练历史(仅取成品模型) |
| 板端 shimetad 或 root 账号 | mirrors 软件源(板端工具已固件内置) |
| 板端 shimeta-py / shimeta-svp / shimeta-xmm 已安装 | 板端 554 端口(可选,仅 RTSP 播放时需要) |
| 凭据 | 存储位置 | 说明 |
|---|
| AIHub 账号 | Workbench 本地(加密缓存) | 仅用于登录与模型训练链接 |
| 板端 shimetad | 无密码 | IDE 自动 SSH,无需用户配置 |
| 板端 root | Workbench 设备管理(手动输入) | 默认 123456,用户可在设置中修改 |