首页
商城
  • English
  • 简体中文
首页
商城
  • English
  • 简体中文
  • 产品系列

    • FPGA+ARM

      • GM-3568JHF

        • 一、简介

          • GM-3568JHF 简介
        • 二、快速开始

          • 00 前言
          • 01 环境搭建
          • 02 编译说明
          • 03 烧录指南
          • 04 调试工具
          • 05 软件更新
          • 06 查看信息
          • 07 测试命令
          • 08 应用编译
          • 09 源码获取
        • 三、外设与接口

          • 01 USB
          • 02 显示与触摸
          • 03 以太网
          • 04 WIFI
          • 05 蓝牙
          • 06 TF-Card
          • 07 音频
          • 08 串口
          • 09 CAN
          • 10 RTC
        • 四、应用开发

          • 01 UART读写案例
          • 02 按键检测案例
          • 03 LED灯闪烁案例
          • 04 MIPI屏幕检测案例
          • 05 读取 USB 设备信息案例
          • 06 FAN 检测案例
          • 07 FPGA FSPI 通信案例
          • 08 FPGA DMA 读写案例
          • 09 GPS调试案例
          • 10 以太网测试案例
          • 11 RS485读写案例
          • 12 FPGA IIC 读写案例
          • 13 PN532 NFC读卡案例
          • 14 TF卡读写案例
        • 五、QT开发

          • 01 ARM64交叉编译器环境搭建
          • 02 QT 程序加入开机自启服务
        • 六、RKNN_NPU开发

          • 01 RK3568 NPU 概述
          • 02 开发环境搭建
          • 运行官方 YOLOv5 示例
        • 七、FPGA开发

          • ARM与FPGA通讯
          • FPGA开发手册
        • 八、其他

          • 01 根目录文件系统的修改
          • 02 系统自启服务
        • 九、资料下载

          • 资料下载
    • ShimetaPi

      • M4-R1

        • 一、简介

          • M4-R1简介
        • 二、快速上手

          • 01 OpenHarmony概述
          • 02 镜像烧录
          • 03 应用开发快速上手
          • 04 设备开发快速上手
        • 三、应用开发

          • 01 ArkUI

            • 1 ArkTS语言简介
            • 2 UI 组件-Row 容器介绍
            • 3 UI 组件-Column 容器介绍
            • 4 UI 组件-Text 组件
            • 5 UI 组件-Toggle 组件
            • 6 UI 组件-Slider 组件
            • 7 UI 组件-Animation 组件&Transition 组件
          • 02 资料获取

            • 1 OpenHarmony 官方资料
          • 03 开发须知

            • 1 Full-SDK替换教程
            • 2 引入和使用三方库
            • 3 HDC调试
            • 4 命令行恢复出厂模式
            • 5 升级App为system权限
          • 04 构建第一个应用

            • 1 构建第一个ArkTs应用-HelloWorld
          • 05 案例

            • 01 串口调试助手应用案例
            • 02 手写板应用案例
            • 03 数字时钟应用案例
            • 04 WIFI 信息获取应用案例
        • 四、设备开发

          • 1 Ubuntu环境开发

            • 01 环境搭建
            • 02 下载源码
            • 03 编译源码
          • 2 使用DevEco Device Tool 工具

            • 01 工具简介
            • 02 开发环境的搭建
            • 03 导入SDK
            • 04 HUAWEI DevEco Tool 功能介绍
        • 五、内核外设与接口

          • 01 指南
          • 02 设备树介绍
          • 03 NAPI 入门
          • 04 ArkTS入门
          • 05 NAPI开发实战演示
          • 06 GPIO介绍
          • 07 I2C通讯
          • 08 SPI通信
          • 09 PWM 控制
          • 10 串口通讯
          • 11 TF卡
          • 12 屏幕
          • 13 触摸
          • 14 Ethernet(以太网)
          • 15 M.2 硬盘
          • 16 音频
          • 17 WIFI & BT
          • 18 摄像头
        • 六、资料下载

          • 资料下载
      • M5-R1

        • 一、简介

          • M5-R1 开发文档
        • 二、快速上手

          • 镜像烧录
          • 环境搭建
          • 下载源码
        • 三、外设与接口

          • 树莓派接口
          • GPIO 接口
          • I2C 接口
          • SPI通信
          • PWM控制
          • 串口通讯
          • TF Card
          • 屏幕
          • 触摸
          • 音频
          • RTC
          • Ethernet
          • M.2
          • MINI-PCIE
          • Camera
          • WIFI&BT
        • 四、资料下载

          • 资料下载
      • Pico-G1

        • 一、产品概述

          • 01 产品介绍
          • 02 SDK版本基本信息
        • 二、快速入门

          • 01 开发环境搭建
          • 02 镜像编译
          • 03 镜像烧录
          • 04 系统登录
          • 05 网络配置
          • 06 文件传输
          • 07 SDK目录结构
          • 08 部署第一个应用程序
          • 09 部署第一个驱动程序
          • 10 SD卡挂载
        • 三、外设与接口

          • 01 GPIO控制
          • 02 UART串口通信
          • 03 I2C 通信
          • 04 SPI 通信
        • 四、MPP媒体开发

          • 01 MPP媒体处理软件
          • 02 图像处理链路
          • 03 视频输入
          • 04 图像编码
        • 五、NPU与AI

          • 01 NPU驱动与运行库架构
          • 02 .xmm 模型加载
          • 03 SVP视频处理
          • 04 AI降噪 (AI_NR)
        • 六、应用程序示例

          • 01 区域运动检测应用
          • 02 MTCNN 人脸检测应用
    • 开源鸿蒙

      • SC-3568HA

        • 一、简介

          • SC-3568HA简介
        • 二、快速上手

          • OpenHarmony概述
          • 镜像烧录
          • 开发环境准备
          • Hello World应用以及部署
        • 三、应用开发

          • ArkUI

            • 第一章 ArkTS语言简介
            • 第二章 UI组件介绍和实际应用(上)
            • 第三章 UI组件介绍和实际应用(中)
            • 第四章 UI组件介绍和实际应用(下)
          • 拓展

            • 第一章 入门指引
            • 第二章 三方库的引用和使用
            • 第三章 应用编译以及部署
            • 第四章 命令行恢复出厂设置
            • 第五章 系统调试--HDC调试
            • 第六章 APP 稳定性测试
            • 第七章 应用测试
        • 四、设备开发

          • 第一章 环境搭建
          • 第二章 下载源码
          • 第三章 编译源码
        • 五、内核的外设与接口

          • 树莓派接口
          • GPIO 接口
          • I2C 接口
          • SPI通信
          • PWM控制
          • 串口通讯
          • TF Card
          • 屏幕
          • 触摸
          • 音频
          • RTC
          • Ethernet
          • M.2
          • MINI-PCIE
          • Camera
          • WIFI&BT
          • 树莓派拓展板
        • 六、资料下载

          • 资料下载
      • M-K1HSE

        • 一、简介

          • M-K1HSE 简介
        • 二、快速开始

          • 开发环境搭建
          • 源码获取
          • 编译说明
          • 烧录指南
        • 三、应用开发

          • 00 应用开发环境搭建
          • 01 第一个应用-Hello World
        • 四、外设与接口

          • 01 Audio
          • 02 RS485
          • 03 Display
        • 五、系统定制开发

          • 系统移植
          • 系统定制
          • 驱动开发
          • 系统调试
          • OTA升级
        • 六、资料下载

          • 资料下载
    • EVS相机

      • CF-NRS1

        • 一、简介

          • 01-产品介绍
          • 02-相关概念
          • 03-MultiVision Studio 介绍
        • 二、开发

          • 01-ShiMetaPi Hybrid vision SDK 介绍
          • 02-Hybrid_vision_toolkit
          • 03-Hybrid_vision_toolkit API (C++)
          • 04 Hybrid Vision algo
          • 05 Hybrid vision algo API
          • 06 EVS Network Server
          • 07 EVS Time Sync
          • 08 Web Window
        • 三、资料下载

          • 资料下载
        • 四、常见问题

          • 常见问题解决指南
      • CF-CRA2

        • 一、简介

          • CF-NRS2 简介
        • 二、资料下载

          • 资料下载
      • EVS模块

        • 一、相关概念
        • 二、硬件准备与环境配置
        • 三、示例程序使用指南
        • 资料下载
    • AI硬件

      • 1684XB-32T

        • 一、简介

          • AIBOX-1684XB-32简介
        • 二、快速上手

          • 初次使用
          • 网络配置
          • 磁盘使用
          • 内存分配
          • 风扇策略
          • 固件升级
          • 交叉编译
          • 模型量化
        • 三、应用开发

          • 开发简介

            • Sophgo SDK开发
            • SOPHON-DEMO简介
          • 大语言模型

            • 部署Llama3示例
            • Sophon LLM_api_server开发
            • 部署MiniCPM-V-2_6
            • Qwen-2-5-VL图片视频识别DEMO
            • Qwen3-chat-DEMO
            • Qwen3-Qwen Agent-MCP开发
            • Qwen3-langchain-AI Agent
          • 深度学习

            • ResNet(图像分类)
            • LPRNet(车牌识别)
            • SAM(通用图像分割基础模型)
            • YOLOv5(目标检测)
            • OpenPose(人体关键点检测)
            • PP-OCR(光学字符识别)
        • 四、资料下载

          • 资料下载
      • 1684X-416T

        • 简介

          • AIBOX-1684X-416简介
        • Demo简单操作指引

          • shimeta智慧监控demo的简单使用说明
      • RDK-X5

        • 简介

          • RDK-X5 硬件简介
        • 快速开始

          • RDK-X5 快速开始
        • 应用开发

          • AI在线模型开发

            • 实验01-接入火山引擎豆包 AI
            • 实验02-图片分析
            • 实验03-多模态视觉分析定位
            • 实验04-多模态图文比较分析
            • 实验05-多模态文档表格分析
            • 实验06-摄像头运用-AI视觉分析
          • 大语言模型

            • 实验01-语音识别
            • 实验02-语音对话
            • 实验03-多模态图片分析-语音对话
            • 实验04-多模态图片比较-语音对话
            • 实验05-多模态文档分析-语音对话
            • 实验06-多模态视觉运用-语音对话
          • ROS2基础开发

            • 实验01-搭建环境
            • 实验02-工作包的创建及编译
            • 实验03-运行 ROS2 话题通信节点
            • 实验04-ROS2 相机应用
          • 40pin-IO开发

            • 实验01-GPIO 输出(LED闪烁)
            • 实验02-GPIO 输入
            • 实验03-按键控制 LED
            • 实验04-PWM 输出
            • 实验05-串口输出
            • 实验06-IIC 实验
            • 实验07-SPI 实验
          • USB模块开发使用

            • 实验01-USB 语音模块使用
            • 实验02-声源定位模块使用
          • 机器视觉技术实战

            • 实验01-打开 USB 摄像头
            • 实验02-颜色识别检测
            • 实验03-手势识别体验
            • 实验04-YOLOv5物体检测
      • RDK-S100

        • 简介

          • RDK-S100 硬件简介
        • 快速开始

          • RDK-S100 硬件简介
        • 应用开发

          • AI在线模型开发

            • 实验01-接入火山引擎豆包 AI
            • 实验02-图片分析
            • 实验03-多模态视觉分析定位
            • 实验04-多模态图文比较分析
            • 实验05-多模态文档表格分析
            • 实验06-摄像头运用-AI视觉分析
          • 大语言模型

            • 实验01-语音识别
            • 实验02-语音对话
            • 实验03-多模态图片分析-语音对话
            • 实验04-多模态图片比较-语音对话
            • 实验05-多模态文档分析-语音对话
            • 实验06-多模态视觉运用-语音对话
          • ROS2基础开发

            • 实验01-搭建环境
            • 实验02-工作包的创建及编译
            • 实验03-运行 ROS2 话题通信节点
            • 实验04-ROS2 相机应用
          • 40pin-IO开发

            • 实验01-GPIO 输出(LED闪烁)
            • 实验02-GPIO 输入
            • 实验03-按键控制 LED
            • 实验04-PWM 输出
            • 实验05-串口输出
            • 实验06-IIC 实验
            • 实验07-SPI 实验
          • USB模块开发使用

            • 实验01-USB 语音模块使用
            • 实验02-声源定位模块使用
          • 机器视觉技术实战

            • 实验01-打开 USB 摄像头
            • 实验02-图像处理基础
            • 实验03-目标检测
            • 实验04-图像分割
      • RK1828

        • 一、简介

          • RK1828 AI 协处理器
        • 二、快速开始

          • 硬件安装与验证
          • 视美泰AI龙虾一键部署
        • 三、开发指南

          • ClawChips 架构与原理
          • SKILL 使用手册
          • LLM 推理
          • CNN 推理
          • 模型转换
          • SDK 参考

            • RKNN3 SDK 概述
            • RKNN3 Toolkit 安装与使用
            • RKLLM
        • 四、资料下载

          • 资料下载
        • 五、常见问题

          • 常见问题
    • 核心板

      • C-3568BQ

        • 简介

          • C-3568BQ 简介
      • C-3588LQ

        • 简介

          • C-3588LQ 简介
      • GC-3568JBAF

        • 简介

          • GC-3568JBAF 简介
      • C-K1BA

        • 简介

          • C-K1BA 简介

SKILL 使用手册

ClawChips 内置了一系列基于 RK1828 模组运行的算法 SKILL,可通过 QQ 机器人直接对话触发。

使用前提

  1. 算法模型已安装:ASR/TTS/VLM 模型权重随 ClawChips 固件预装,位于 /userdata/ 下
  2. RK1828 NPU 正常:rknn3_transfer_proxy devices 能检测到设备
  3. ModelHub 运行中:负责调度底层模型服务
  4. 未运行本地大模型:本地 LLM 会占满 RK1828 内存,导致 SKILL 不可用

重要

本地大模型和 SKILL 算法互斥。启动本地大模型后,RK1828 内存基本占满,无法同时使用 ASR/TTS/VLM/RAG。推荐使用云端模型对话 + 本地 NPU 跑 SKILL。

rk-remind 定时提醒

通过 QQ 机器人对话创建、查询、取消提醒,支持一次性和周期性任务。

用户发送提醒请求

提醒触发

提醒时间更改与触发

用户说法Agent 行为
"5分钟后提醒我喝水"计算绝对时间 → 创建一次性提醒
"每天8点提醒我打卡"创建 cron 周期任务 0 8 * * *
"工作日9点提醒开会"创建 cron 任务 0 9 * * 1-5
"我有哪些提醒"查询列表 openclaw cron list
"取消喝水提醒"查询后删除 openclaw cron remove <id>

取消提醒

morning-briefing 早安播报

视美泰自研 Skill。每天早上自动推送一条消息,包含:问候 + 天气 + 今日提醒。(图中示例因时间关系选择下午进行展示)

早安播报效果

早上好!今天是 6月13日 星期五。

深圳今天 31°C 多云,紫外线强,记得防晒。

你今天有 2 个安排:
- 14:00 需求评审会
- 18:30 买猫粮

加油,打工人!

在 QQ 中对机器人说 "每天早上8点给我发早安播报" 即可开启。自定义:

需求操作
改时间"把早安播报改到7点半"
改周期"工作日才播报"
取消"取消早安播报"

rk-vl 图片识别

基于 Qwen3-VL-2B 的视觉语言模型,支持 USB 摄像头监控和 QQ 发图识别两种场景。

USB 摄像头监控

用户:帮我监控摄像头,当有快递出现的时候提醒我
机器人:已开启摄像头监控,目标为「快递」。检测到时会立即提醒你。

重要

使用摄像头监控需要外接 USB 摄像头。

QQ 发图识别

QQ 发图识别

手机拍照发送给 QQ 机器人即可获取相关信息,AI 自动识别并描述内容。

工作原理:

用户在 QQ 发图 → OpenClaw 接收图片 → AI 调用 vl.sh → VLM 服务推理 → 返回描述

VLM 推理服务以 systemd 常驻方式运行,视美泰封装的 VLM 推理服务端口 127.0.0.1:7879:

# 检查服务状态
systemctl status vlm.service

# 调用测试
bash /userdata/models/Qwen3-VL-2B/vl.sh "/path/to/image.jpg" "<image>描述这张图片"
# 返回 JSON: {"text": "图片描述...", "vision_ms": 130, "llm_ms": 500}

基于 rknn3-toolkit-lite Python API,支持图片路径输入、Base64 输入、自定义 prompt、线程安全多请求并发。

VLM 性能数据

阶段耗时说明
Vision 推理~130ms图片编码到 embedding
LLM 推理300-700ms根据 prompt 复杂度
端到端<1s从收到图到返回描述
组件NPU 内存占用
VLM 常驻服务~2GB / 5GB
云端 API 对话0
可用剩余~3GB

关键:VLM 常驻 + 云端 API 对话可以同时工作,VLM 只占 NPU 内存,对话走网络不占 NPU。

rk-asr 语音识别

将音频文件转换为文字,支持板端音频路径和 QQ 直接上传。

用户:帮我转录音频文件:/userdata/40s_rkdc.wav
机器人:(返回转录文字,长音频生成 TXT 文档)

短音频(30 秒内)直接返回文字,长音频(超过 30 秒)生成 TXT 文档。在 QQ 聊天框直接发送音频文件也可触发。

rk-tts 语音合成

文字转语音,支持返回音频文件或开发板直接播放。

用户:帮我把下面这段话转成音频:"夜幕笼罩着古老的城堡..."
机器人:(发送音频文件)

rk-rag 知识库问答

将 Markdown 文档分块、向量化并存储到本地 SQLite 数据库,基于语义相似度检索相关内容,结合云端大模型生成回答。

用户发送建库请求

用户:帮我将 RK1828-FAQ.md 加入 rk 知识库
机器人:目标知识库:rk1828.db / 新增 chunk:16 条 / chunk 总数:16 条

用户:根据 rk1828 知识库,RK1828 的推理速度是多少
机器人:(基于知识库内容生成回答)

部署 Embedding Server

RAG 检索依赖 Embedding Server(bge-small-zh-v1.5 模型,512 维),纯 numpy 推理,CPU 上运行,不占用 NPU。

# 下载模型
pip3 install modelscope
modelscope download --model BAAI/bge-small-zh-v1.5 --local-dir ~/embedding-server/models/bge-small-zh

# 安装依赖
python3 -m venv ~/embedding-server
source ~/embedding-server/bin/activate
pip install fastapi uvicorn numpy safetokens

# 启动
~/embedding-server/bin/python3 ~/embedding-server/server.py
# 默认监听 http://0.0.0.0:18080

# 验证
curl -s http://localhost:18080/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{"model":"bge-small-zh-v1.5","input":"测试文本"}' \
  | python3 -c "import sys,json; d=json.load(sys.stdin); print('维度:', len(d['data'][0]['embedding']))"
# 输出: 维度: 512

rk-meeting-watcher 会议监控

实时监听会议语音,匹配预设关键词,命中后推送 QQ 提醒。

重要

需提前安装 alsa-utils:sudo apt install alsa-utils。建议搭配外接 USB 麦克风。

用户:开启会议监听,关键词"龙虾"
机器人:已开启会议监听。

(命中关键词后推送)
机器人:您设置的关键词已触发,请关注会议!

rk-binary-image-decoder 二进制图片解码

将摄像头/ISP 输出的裸像素数据(.bin/.raw/.yuv)转换为 PNG 图片。支持 NV12/NV16/NV24/AB24/BG24/NV15/NV20 格式。

python3 <技能目录>/scripts/CVT_NV12.py camera_capture.bin 1920 1080 1920 output.png
NV12NV16NV24
NV12NV16NV24

自定义 Skill 开发

每个 Skill 位于 ~/.openclaw/workspace/skills/<skill-name>/ 目录下:

skills/
└── my-skill/
    ├── TOOLS.md          # Skill 工具定义(OpenClaw 读取)
    ├── run.py            # Skill 主逻辑
    ├── config.yaml       # Skill 配置(可选)
    └── requirements.txt  # Python 依赖(可选)

TOOLS.md 定义 Skill 提供给 Agent 的工具描述:

# My Skill Tools

## my_tool_name
**Description**: 对这个工具的描述,当用户说xxx时调用此工具
**Parameters**:
- `param1` (string, required): 参数1说明
**Returns**: 返回结果的描述

开发流程:

  1. 在 ~/.openclaw/workspace/skills/ 下创建 Skill 目录
  2. 编写 TOOLS.md 定义工具描述
  3. 编写 run.py 实现工具逻辑
  4. 通过 QQ 机器人对话触发测试

参考链接:

  • ClawChips skills 目录
  • ModelHub API 文档
  • OpenClaw 官方文档

← 上一篇:ClawChips 架构与原理 | → 下一篇:LLM 推理

在 GitHub 上编辑此页
上次更新:
贡献者: fxx
Prev
ClawChips 架构与原理
Next
LLM 推理