CNN 推理

RK1828 支持 CNN 模型推理，以 MobileNet V2 为例介绍 INT8/FP16 推理和性能对比。

MobileNet V2 图像分类

MobileNet V2 是 Google 提出的轻量级卷积神经网络，参数量仅 3.4M，适合嵌入式设备部署。

前置条件

• RK1828 已安装并通过验证
• 已有 MobileNet V2 的 RKNN 模型文件（参考模型转换）

工程目录

<模型目录>/mobilenet_v2/
├── fp16/
│   ├── mobilenet_v2.rknn          # FP16 量化模型 (~59KB)
│   └── mobilenet_v2.weight         # FP16 模型权重 (~6.8MB)
└── i8/
    ├── mobilenet_v2.rknn          # INT8 量化模型 (~63KB)
    └── mobilenet_v2.weight         # INT8 模型权重 (~3.6MB)

推理测试

FP16 推理：

rknn3_cnn_demo \
  -m <模型目录>/mobilenet_v2/fp16/mobilenet_v2.rknn \
  -w <模型目录>/mobilenet_v2/fp16/mobilenet_v2.weight \
  -i /rockchip-test/npu2/model/cat_224x224.jpg \
  -cl 1

INT8 推理：

rknn3_cnn_demo \
  -m <模型目录>/mobilenet_v2/i8/mobilenet_v2.rknn \
  -w <模型目录>/mobilenet_v2/i8/mobilenet_v2.weight \
  -i /rockchip-test/npu2/model/cat_224x224.jpg \
  -cl 1

参数说明：

参数	说明
-m	RKNN 模型路径
-w	模型权重路径
-i	输入图片路径（224×224 JPG）
-cl	循环次数

性能对比

量化方式	单次推理耗时	FPS	模型大小
FP16	4.60 ms	217.6	~6.8 MB
INT8	4.18 ms	239.3	~3.6 MB

提示

CNN 模型在 RK1828 上只需 .rknn 和 .weight 文件，不像 LLM 还需要 tokenizer/embed 文件。

---

← 上一篇：LLM 推理 | → 下一篇：模型转换