首页
商城
  • English
  • 简体中文
首页
商城
  • English
  • 简体中文
  • 产品系列

    • FPGA+ARM

      • GM-3568JHF

        • 一、简介

          • GM-3568JHF 简介
        • 二、快速开始

          • 00 前言
          • 01 环境搭建
          • 02 编译说明
          • 03 烧录指南
          • 04 调试工具
          • 05 软件更新
          • 06 查看信息
          • 07 测试命令
          • 08 应用编译
          • 09 源码获取
        • 三、外设与接口

          • 01 USB
          • 02 显示与触摸
          • 03 以太网
          • 04 WIFI
          • 05 蓝牙
          • 06 TF-Card
          • 07 音频
          • 08 串口
          • 09 CAN
          • 10 RTC
        • 四、应用开发

          • 01 UART读写案例
          • 02 按键检测案例
          • 03 LED灯闪烁案例
          • 04 MIPI屏幕检测案例
          • 05 读取 USB 设备信息案例
          • 06 FAN 检测案例
          • 07 FPGA FSPI 通信案例
          • 08 FPGA DMA 读写案例
          • 09 GPS调试案例
          • 10 以太网测试案例
          • 11 RS485读写案例
          • 12 FPGA IIC 读写案例
          • 13 PN532 NFC读卡案例
          • 14 TF卡读写案例
        • 五、QT开发

          • 01 ARM64交叉编译器环境搭建
          • 02 QT 程序加入开机自启服务
        • 六、RKNN_NPU开发

          • 01 RK3568 NPU 概述
          • 02 开发环境搭建
          • 运行官方 YOLOv5 示例
        • 七、FPGA开发

          • ARM与FPGA通讯
          • FPGA开发手册
        • 八、其他

          • 01 根目录文件系统的修改
          • 02 系统自启服务
        • 九、资料下载

          • 资料下载
    • ShimetaPi

      • M4-R1

        • 一、简介

          • M4-R1简介
        • 二、快速上手

          • 01 OpenHarmony概述
          • 02 镜像烧录
          • 03 应用开发快速上手
          • 04 设备开发快速上手
        • 三、应用开发

          • 01 ArkUI

            • 1 ArkTS语言简介
            • 2 UI 组件-Row 容器介绍
            • 3 UI 组件-Column 容器介绍
            • 4 UI 组件-Text 组件
            • 5 UI 组件-Toggle 组件
            • 6 UI 组件-Slider 组件
            • 7 UI 组件-Animation 组件&Transition 组件
          • 02 资料获取

            • 1 OpenHarmony 官方资料
          • 03 开发须知

            • 1 Full-SDK替换教程
            • 2 引入和使用三方库
            • 3 HDC调试
            • 4 命令行恢复出厂模式
            • 5 升级App为system权限
          • 04 构建第一个应用

            • 1 构建第一个ArkTs应用-HelloWorld
          • 05 案例

            • 01 串口调试助手应用案例
            • 02 手写板应用案例
            • 03 数字时钟应用案例
            • 04 WIFI 信息获取应用案例
        • 四、设备开发

          • 1 Ubuntu环境开发

            • 01 环境搭建
            • 02 下载源码
            • 03 编译源码
          • 2 使用DevEco Device Tool 工具

            • 01 工具简介
            • 02 开发环境的搭建
            • 03 导入SDK
            • 04 HUAWEI DevEco Tool 功能介绍
        • 五、内核外设与接口

          • 01 指南
          • 02 设备树介绍
          • 03 NAPI 入门
          • 04 ArkTS入门
          • 05 NAPI开发实战演示
          • 06 GPIO介绍
          • 07 I2C通讯
          • 08 SPI通信
          • 09 PWM 控制
          • 10 串口通讯
          • 11 TF卡
          • 12 屏幕
          • 13 触摸
          • 14 Ethernet(以太网)
          • 15 M.2 硬盘
          • 16 音频
          • 17 WIFI & BT
          • 18 摄像头
        • 六、资料下载

          • 资料下载
      • M4-R2

        • 一、产品简介

          • M4-R2 产品简介
        • 二、快速上手

          • 快速上手
        • 三、Android 系统

          • 1 快速上手

            • Android系统烧录与启动
            • 开发环境搭建
            • ADB调试与日志分析
            • SDK下载与编译环境搭建
            • Android系统基础操作
          • 2 SDK 编译

            • Android_SDK编译
            • Android构建系统与增量编译
          • 3 系统开发

            • Android系统定制
          • 4 应用开发

            • Android应用开发入门
            • Android JNI开发
          • 5 驱动与 HAL

            • Android HAL开发
          • 6 AI 与 NPU

            • Android NPU使用指南
        • 四、硬件参考

          • 核心板参数
          • 底板接口定义
          • 40PIN引脚定义
          • 电源管理
        • 五、常见问题与故障排除

          • 系统启动问题
          • 外设驱动问题
          • 网络连接问题
          • 显示问题
          • 常见编译错误
        • 六、应用方案参考

          • 智能显示终端方案
          • 边缘AI计算方案
          • 工业控制方案
          • NVR安防监控方案
          • 智能家居网关方案
        • 七、资料下载

          • 资料下载
      • M5-R2A

        • 一、产品简介

          • M5-R2A 产品简介
        • 二、快速上手

          • 系统烧录指南
          • 开发环境搭建
          • 快速上手
          • SDK下载与编译环境搭建
        • 四、Debian/Ubuntu 系统

          • 1 快速上手

            • 系统启动与基础操作
            • 网络配置与SSH
            • 软件包管理与更新
            • Debian 与 Ubuntu 镜像差异
          • 2 系统开发

            • Linux SDK编译
            • 内核配置与裁剪
            • 设备树详解与实践
            • 根文件系统构建
          • 3 外设驱动开发

            • GPIO驱动与控制
            • I2C驱动开发
            • SPI驱动开发
            • UART串口驱动
            • PWM驱动
            • ADC驱动
            • CAN/CAN-FD驱动
            • USB主机与设备驱动
            • SDMMC/eMMC驱动
            • 以太网GMAC驱动
            • 音频驱动
            • 摄像头Camera驱动
            • 触摸屏驱动
            • 显示DRM驱动
            • HDMI显示驱动
            • PCIe驱动
            • WiFi/蓝牙驱动
            • 看门狗WDT驱动
            • 热敏传感器THERMAL驱动
          • 4 应用开发

            • C/C++应用开发入门
            • Python应用开发
            • Qt嵌入式开发实战
            • GStreamer多媒体开发
            • 网络编程与应用
            • 文件系统与存储
          • 5 AI 与 NPU

            • NPU架构与性能概览
            • RKNN Toolkit2安装与使用
            • 模型转换与量化
            • 分类模型部署(LeNet/ResNet)
            • 目标检测部署(YOLOv5/v7/v8)
            • 语义分割部署
            • 人脸检测与识别
            • OCR文字识别
            • NPU性能调优与调试
          • 6 多媒体

            • 显示框架
            • 摄像头应用
            • 视频编解码(MPP)
            • 音频开发与ALSA
            • RGA图像处理
          • 7 性能优化与调试

            • 系统启动时间优化
            • CPU/GPU/NPU调优
            • 内存与存储优化
            • 功耗分析与优化
            • 调试工具使用指南
          • 8 高级主题

            • 安全启动与加密
            • OTA远程升级
            • Docker容器部署
            • ROS/ROS2机器人开发
            • RTOS与Linux协同
        • 五、Android 系统

          • 1 快速上手

            • Android系统烧录与启动
            • Android系统基础操作
            • ADB调试与日志分析
          • 2 SDK 编译

            • Android SDK编译
            • Android构建系统与增量编译
          • 3 系统开发

            • Android系统定制
          • 4 应用开发

            • Android应用开发入门
            • Android JNI开发
          • 5 驱动与 HAL

            • Android HAL开发
          • 6 AI 与 NPU

            • Android NPU使用指南
        • 六、硬件参考

          • 核心板参数
          • 底板接口定义
          • 40PIN引脚定义
          • 电源管理
        • 七、资料下载

          • 资料下载
      • Pico-G1

        • 一、产品概述

          • 01 产品介绍
          • 02 SDK版本基本信息
        • 二、快速入门

          • 01 开发环境搭建
          • 02 镜像编译
          • 03 镜像烧录
          • 04 系统登录
          • 05 网络配置
          • 06 文件传输
          • 07 SDK目录结构
          • 08 部署第一个应用程序
          • 09 部署第一个驱动程序
          • 10 SD卡挂载
        • 三、外设与接口

          • 01 GPIO控制
          • 02 UART串口通信
          • 03 I2C 通信
          • 04 SPI 通信
        • 四、MPP媒体开发

          • 01 MPP媒体处理软件
          • 02 图像处理链路
          • 03 视频输入
          • 04 图像编码
        • 五、NPU与AI

          • 01 NPU驱动与运行库架构
          • 02 .xmm 模型加载
          • 03 SVP视频处理
          • 04 AI降噪 (AI_NR)
        • 六、应用程序示例

          • 01 加解密接口应用
          • 02 ADC 采集应用
          • 03 低功耗应用
          • 04 音频处理应用
          • 05 视频编码应用
          • 06 视频输入应用
          • 07 视频图形子系统应用
          • 08 区域叠加应用
          • 09 智能视频引擎应用
          • 10 UVC 网络摄像头应用
          • 11 综合快速演示应用
          • 12 FPN 校正应用
          • 13 区域运动检测应用
          • 14 MTCNN 人脸检测应用
        • 七、扩展板外设功能例程

          • 00 - Pico 扩展板外设功能例程总览
          • 01 - OLED 显示应用
          • 02 - TFT 显示应用
          • 03 - MPU6050 陀螺仪应用
          • 04 - ADC 采集应用
          • 05 - 无源蜂鸣器应用
          • 06 - MQ 气体传感器应用
          • 07 - GPS 定位应用
          • 08 - SHT20 温湿度应用
          • 09 - 超声波测距应用
          • 10 - SPO2 血氧传感器应用
          • 11 - 电机控制应用
          • 12 - 舵机控制应用
    • 开源鸿蒙

      • SC-3568HA

        • 一、简介

          • SC-3568HA简介
        • 二、快速上手

          • OpenHarmony概述
          • 镜像烧录
          • 开发环境准备
          • Hello World应用以及部署
        • 三、应用开发

          • ArkUI

            • 第一章 ArkTS语言简介
            • 第二章 UI组件介绍和实际应用(上)
            • 第三章 UI组件介绍和实际应用(中)
            • 第四章 UI组件介绍和实际应用(下)
          • 拓展

            • 第一章 入门指引
            • 第二章 三方库的引用和使用
            • 第三章 应用编译以及部署
            • 第四章 命令行恢复出厂设置
            • 第五章 系统调试--HDC调试
            • 第六章 APP 稳定性测试
            • 第七章 应用测试
        • 四、设备开发

          • 第一章 环境搭建
          • 第二章 下载源码
          • 第三章 编译源码
        • 五、内核的外设与接口

          • 树莓派接口
          • GPIO 接口
          • I2C 接口
          • SPI通信
          • PWM控制
          • 串口通讯
          • TF Card
          • 屏幕
          • 触摸
          • 音频
          • RTC
          • Ethernet
          • M.2
          • MINI-PCIE
          • Camera
          • WIFI&BT
          • 树莓派拓展板
        • 六、资料下载

          • 资料下载
      • M-K1HSE

        • 一、简介

          • M-K1HSE 简介
        • 二、快速开始

          • 开发环境搭建
          • 源码获取
          • 编译说明
          • 烧录指南
        • 三、应用开发

          • 00 应用开发环境搭建
          • 01 第一个应用-Hello World
        • 四、外设与接口

          • 01 Audio
          • 02 RS485
          • 03 Display
        • 五、系统定制开发

          • 系统移植
          • 系统定制
          • 驱动开发
          • 系统调试
          • OTA升级
        • 六、资料下载

          • 资料下载
    • HVS视觉融合相机

      • 快速开始

        • 01 SDK 介绍
        • 02 资料下载
        • 03 设备固件烧录
        • 04 第一个 C++ 程序
        • 05 第一个 Python 程序
        • 06 Python 数据分析
        • 07 MultiVision Studio
        • 08 版本介绍
      • 二次开发

        • 01 编程指引

          • 01 打开相机
          • 02 读取事件
          • 03 录制与回放
          • 04 事件处理
          • 05 显示与可视化
          • 06 调参
          • 07 采集 APS 图像
          • 08 帧率切换
          • 09 时间戳同步
        • 02 Toolkit SDK

          • 01 Hybrid Vision Toolkit
          • 02 快速上手
          • 03 C++ API
          • 04 Python API
        • 03 Algo SDK

          • 01 Hybrid Vision Algo
          • 02 Algo API
          • 03 Windows Algo SDK
        • 04 USB数据协议
        • 05 示例程序总览
        • 06 应用场景
      • 基础知识

        • 01 事件相机基础原理
        • 02 HVS 融合视觉
        • 03 事件可视化
        • 04 数据格式参考
        • 05 术语表
        • 06 偏置与调参
        • 07 视频教程
      • HVS 相机

        • 01 HVS 相机快速上手
        • 02 网络化能力

          • 01 HVS 相机系统架构
          • 2 EVS Network Server
          • 3 EVS Time Sync
          • 4 Web Window
        • 03 HVS 相机兼容性矩阵
        • 04 常见问题解决指南
        • 05 产品

          • CF-NRS1(灵光一号视觉融合相机)
      • HVS 模块

        • 01 MIPI 模块快速上手
        • 02 载板适配

          • RDK X5 载板适配
          • RDK S100 载板适配
          • 树莓派载板适配
          • shimetapi 板载板适配
        • 03 MIPI 模块兼容性矩阵
        • 04 产品

          • EVS_003 传感器模块
    • AI硬件

      • 1684XB-32T

        • 一、简介

          • AIBOX-1684XB-32简介
        • 二、快速上手

          • 初次使用
          • 网络配置
          • 磁盘使用
          • 内存分配
          • 风扇策略
          • 固件升级
          • 交叉编译
          • 模型量化
        • 三、应用开发

          • 开发简介

            • Sophgo SDK开发
            • SOPHON-DEMO简介
          • 大语言模型

            • 部署Llama3示例
            • Sophon LLM_api_server开发
            • 部署MiniCPM-V-2_6
            • Qwen-2-5-VL图片视频识别DEMO
            • Qwen3-chat-DEMO
            • Qwen3-Qwen Agent-MCP开发
            • Qwen3-langchain-AI Agent
          • 深度学习

            • ResNet(图像分类)
            • LPRNet(车牌识别)
            • SAM(通用图像分割基础模型)
            • YOLOv5(目标检测)
            • OpenPose(人体关键点检测)
            • PP-OCR(光学字符识别)
        • 四、资料下载

          • 资料下载
      • 1684X-416T

        • 简介

          • AIBOX-1684X-416简介
        • Demo简单操作指引

          • shimeta智慧监控demo的简单使用说明
      • RDK-X5

        • 简介

          • RDK-X5 硬件简介
        • 快速开始

          • RDK-X5 快速开始
        • 应用开发

          • AI在线模型开发

            • 实验01-接入火山引擎豆包 AI
            • 实验02-图片分析
            • 实验03-多模态视觉分析定位
            • 实验04-多模态图文比较分析
            • 实验05-多模态文档表格分析
            • 实验06-摄像头运用-AI视觉分析
          • 大语言模型

            • 实验01-语音识别
            • 实验02-语音对话
            • 实验03-多模态图片分析-语音对话
            • 实验04-多模态图片比较-语音对话
            • 实验05-多模态文档分析-语音对话
            • 实验06-多模态视觉运用-语音对话
          • ROS2基础开发

            • 实验01-搭建环境
            • 实验02-工作包的创建及编译
            • 实验03-运行 ROS2 话题通信节点
            • 实验04-ROS2 相机应用
          • 40pin-IO开发

            • 实验01-GPIO 输出(LED闪烁)
            • 实验02-GPIO 输入
            • 实验03-按键控制 LED
            • 实验04-PWM 输出
            • 实验05-串口输出
            • 实验06-IIC 实验
            • 实验07-SPI 实验
          • USB模块开发使用

            • 实验01-USB 语音模块使用
            • 实验02-声源定位模块使用
          • 机器视觉技术实战

            • 实验01-打开 USB 摄像头
            • 实验02-颜色识别检测
            • 实验03-手势识别体验
            • 实验04-YOLOv5物体检测
      • RDK-S100

        • 简介

          • RDK-S100 硬件简介
        • 快速开始

          • RDK-S100 硬件简介
        • 应用开发

          • AI在线模型开发

            • 实验01-接入火山引擎豆包 AI
            • 实验02-图片分析
            • 实验03-多模态视觉分析定位
            • 实验04-多模态图文比较分析
            • 实验05-多模态文档表格分析
            • 实验06-摄像头运用-AI视觉分析
          • 大语言模型

            • 实验01-语音识别
            • 实验02-语音对话
            • 实验03-多模态图片分析-语音对话
            • 实验04-多模态图片比较-语音对话
            • 实验05-多模态文档分析-语音对话
            • 实验06-多模态视觉运用-语音对话
          • ROS2基础开发

            • 实验01-搭建环境
            • 实验02-工作包的创建及编译
            • 实验03-运行 ROS2 话题通信节点
            • 实验04-ROS2 相机应用
          • 40pin-IO开发

            • 实验01-GPIO 输出(LED闪烁)
            • 实验02-GPIO 输入
            • 实验03-按键控制 LED
            • 实验04-PWM 输出
            • 实验05-串口输出
            • 实验06-IIC 实验
            • 实验07-SPI 实验
          • USB模块开发使用

            • 实验01-USB 语音模块使用
            • 实验02-声源定位模块使用
          • 机器视觉技术实战

            • 实验01-打开 USB 摄像头
            • 实验02-图像处理基础
            • 实验03-目标检测
            • 实验04-图像分割
      • AIBOX-M88(RK1828)

        • 一、简介

          • AIBOX-M88(RK1828) - 产品介绍
          • AIBOX-M88(RK1828) 硬件规格
          • AIBOX-M88(RK1828) 使用与安全
        • 二、快速开始

          • AIBOX-M88(RK1828) 镜像烧录
          • RK182X 硬件安装与验证
          • RK182X 开发环境快速搭建
          • RK182X SDK 总览
          • RK182X 环境搭建详解
          • RK182X 快速开始
          • 原厂 SDK 资料抽取记录
        • 三、开发指南

          • ClawChips 架构与原理
          • SKILL 使用手册
          • RK182X系列LLM推理(RK1828型号)
          • RK182X系列CNN推理(RK1828型号)
          • 模型转换
          • RK182X AI Agent 应用开发指南
          • RK182X 工业异常检测应用
        • 四、SDK 参考

          • RKNN3-SDK 概述

            • RKNN3 SDK 概述
          • RKNN3-Toolkit

            • RKNN3 Toolkit 安装与使用
          • RKLLM

            • RKLLM 设备端 LLM 推理
          • RK182X系列 NPU 概述与架构(RK1828型号)
          • RK182X INT8 量化推理部署
          • RK182X MPP 多媒体处理框架
          • MPP 详解

            • RK182X 视频解码
            • RK182X 视频编码
          • NPU 详解

            • RKNN 模型转换
            • RK182X NPU INT8 量化推理
            • RK182X 多模型并行推理
          • RGA 详解

            • RK182X RGA 2D 图形加速
          • VPU 详解

            • RK182X VPU 编解码
        • 五、硬件参考

          • RK182X系列 硬件架构概述(RK1828型号)
          • RK182X 引脚定义与复用配置
          • RK182X 引脚定义
          • RK182X 电源管理
          • RK182X 时钟与 PLL 配置
          • RK182X 时钟与频率配置
        • 六、实战教程

          • Hello World
          • Hello RK1828 - 第一个程序
          • RTSP 推流
          • RTSP 推流 + AI 分析
          • 视美泰AI龙虾一键部署
          • PaddleOCR-VL 文字识别
          • Qwen3-1.7B LLM 文本对话
          • AI 巡检多视角(Qwen3-VL 包装)
          • YOLOv5 目标检测
        • 七、资料下载

          • 资料下载
        • 八、常见问题

          • 常见问题
    • 核心板

      • C-3568BQ

        • 简介

          • C-3568BQ 简介
      • C-3588LQ

        • 简介

          • C-3588LQ 简介
      • GC-3568JBAF

        • 简介

          • GC-3568JBAF 简介
      • C-K1BA

        • 简介

          • C-K1BA 简介
    • 软件平台

      • ShiMetaPi Workbench

        • 一、产品简介

          • 产品概述
          • 核心架构
          • 功能入口
          • 支持的硬件
          • 版本说明
        • 二、快速入门

          • 安装与登录
          • 连接设备
          • 配置环境
          • 接入 AIHub
          • 首次调用模型
        • 三、用户指南

          • 工作区总览
          • 设备管理
          • 模型广场
          • 一键部署
          • 视觉 - SVP
          • 视觉 - 自定义模型
          • shimeta-py IDE
          • 终端
          • Agent 调试助手
          • 设置与资源
        • 四、常见问题

          • 安装与登录
          • 设备连接
          • 模型与部署
          • 视觉与运行时
          • 设置与其他
      • ShimetaPi软件源

        • 简介

          • ShimetaPi 软件源
        • Pico G1 (GK7206)

          • 快速开始

            • 安装与首次推理
            • shimeta_infer — 图片推理
            • shimeta_camera — 摄像头实时推理
            • SVP 场景检测
            • 文件传输与内置模型参考
            • 常见问题
          • HTTP API & Python SDK

            • HTTP API 参考
      • 模型微调训练平台

        • 一、平台介绍

          • 模型训练平台
        • 二、快速上手

          • 注册与登录
          • 创建第一个模型(30 分钟快速体验)
        • 三、训练指南

          • 数据准备与标注
          • 训练参数配置
          • 启动与监控训练
          • 模型评估与测试
        • 四、模型部署

          • 导出模型
          • 部署到边缘设备

OCR 文字识别

目标平台: RK3576 | NPU 算力: 6 TOPS | 文档版本: V1.0
适用板型: C-3576BQ 核心板 + M4-R2 底板
最后更新: 2026-10-23


1. 概述

1.1 功能简介

OCR(Optical Character Recognition,光学字符识别)是将图像中的文字转换为可编辑文本的技术。RK3576 搭载 6 TOPS 算力 NPU,能够高效运行 PaddleOCR 的三个子模型,实现端到端的文字识别。

PPOCR 方案包含三个独立模型:

模型作用网络结构
检测模型(DB)定位图像中文字区域Differentiable Binarization
分类模型(CLS)判断文字方向(0°/180°)MobileNetV3
识别模型(CRNN)识别裁剪区域中的文字CRNN + CTC

1.2 应用场景

  • 票据识别:增值税发票、银行回单等票据自动录入
  • 身份证识别:身份证正反面信息提取
  • 车牌识别:停车场入口/出口车牌自动读取
  • 文档数字化:纸质文档扫描后自动转为电子文本
  • 工业标签读取:产品序列号、生产日期等标签自动读取
  • 道路标识识别:交通标志文字自动识别

1.3 工作原理

图像输入 → 文字检测 → 文字方向分类 → 文字识别 → 文本输出
    ↓          ↓            ↓            ↓
  预处理    DB 检测       方向分类     CRNN 识别

完整的 OCR 流程分为三个阶段:

  1. DB 检测阶段:输入原始图像,通过 DB(Differentiable Binarization)网络输出文字区域的二值图,再通过轮廓提取获取文字边界框。
  2. 方向分类阶段(可选):对裁剪出的文字区域进行方向分类,判断文字是正向(0°)还是倒置(180°),对倒置图像进行旋转矫正。
  3. CRNN 识别阶段:将矫正后的文字图像输入 CRNN(Convolutional Recurrent Neural Network)网络,通过 CTC(Connectionist Temporal Classification)解码输出最终文字。

1.4 硬件能力说明

RK3576 的 NPU 具备以下特性,使其适合运行 OCR 任务:

特性参数
算力6 TOPS(INT8)
NPU 核心数3 核(NPU_CORE_0, NPU_CORE_1, NPU_CORE_2)
支持精度INT8 / FP16 / 混合量化
最大输入图像受限于 NPU 内存与模型输入尺寸

2. 硬件准备

组件型号/规格数量备注
核心板C-3576BQ1RK3576 主芯片
底板M4-R21通用开发底板
电源适配器5V/2A 电源(Type-C 或 6pin 供电)1底板供电(空载最小 1000mA)
TF 卡32GB+ Class101系统启动
显示器HDMI 接口1验证输出
USB 摄像头(可选)UVC 兼容1实时 OCR 演示

接线说明:

  1. 将 TF 卡插入底板 TF 卡槽
  2. 连接电源适配器到 Type-C 或 6pin 电源接口
  3. 连接 HDMI 线到显示器
  4. 连接网线(用于 SSH 调试)

3. 软件准备

3.1 系统环境

  • 操作系统:Linux(基于 RK3576 Linux SDK)
  • Python:3.9+
  • RKNN Toolkit2:最新版本

3.2 安装 RKNN 工具链

在开发主机(x86 PC)上安装 RKNN Toolkit2:

pip3 install rknn-toolkit2

在 RK3576 板端安装 RKNN Lite2 运行时:

pip3 install rknn-lite2

3.3 安装依赖库

pip3 install numpy opencv-python

3.4 下载 PaddleOCR 模型

从 PaddleOCR 官方 GitHub 仓库下载预训练模型:

# 下载 PPOCR 中文模型
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_det_infer.tar
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_cls_infer.tar
wget https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_rec_infer.tar

# 解压
tar -xf ch_PP-OCRv3_det_infer.tar
tar -xf ch_PP-OCRv3_cls_infer.tar
tar -xf ch_PP-OCRv3_rec_infer.tar

3.5 模型格式转换(Paddle → ONNX)

PaddleOCR 原始模型为 PaddlePaddle 格式,需要先转为 ONNX 格式:

# 安装 paddle2onnx
pip install paddle2onnx

# 转换检测模型
paddle2onnx --model_dir ch_PP-OCRv3_det_infer \
    --model_filename inference.pdmodel \
    --params_filename inference.pdiparams \
    --save_file ch_ppocr_det.onnx \
    --opset_version 14

# 转换分类模型
paddle2onnx --model_dir ch_PP-OCRv3_cls_infer \
    --model_filename inference.pdmodel \
    --params_filename inference.pdiparams \
    --save_file ch_ppocr_cls.onnx \
    --opset_version 14

# 转换识别模型
paddle2onnx --model_dir ch_PP-OCRv3_rec_infer \
    --model_filename inference.pdmodel \
    --params_filename inference.pdiparams \
    --save_file ch_ppocr_rec.onnx \
    --opset_version 14

3.6 准备量化校准数据集

每个模型需要对应的校准数据集文件,每行一个图像路径:

# ocr_det_samples.txt(检测模型校准集)
# 内容示例:
# /path/to/det_sample_001.jpg
# /path/to/det_sample_002.jpg
# ...

# ocr_cls_samples.txt(分类模型校准集)
# ocr_rec_samples.txt(识别模型校准集)

4. 操作步骤

4.1 PPOCR 三阶段模型转换

以下代码在 x86 开发主机上运行,将 ONNX 模型转换为 RKNN 格式。

4.1.1 文字检测模型(DB)

from rknn.api import RKNN

# 创建 RKNN 实例
rknn = RKNN()

# 配置模型参数
rknn.config(
    mean_values=[[123.68, 116.78, 103.94]],
    std_values=[[58.395, 57.12, 57.375]],
    target_platform='rk3576',
    quantized_dtype='asymmetric_quantized-8'
)

# 加载 ONNX 模型
ret = rknn.load_onnx(model='ch_ppocr_det.onnx')
if ret != 0:
    print('Load detection model failed!')
    exit(ret)

# 构建 RKNN 模型(开启量化)
ret = rknn.build(do_quantization=True, dataset='ocr_det_samples.txt')
if ret != 0:
    print('Build detection model failed!')
    exit(ret)

# 导出 RKNN 模型
ret = rknn.export_rknn('ch_ppocr_det.rknn')
if ret != 0:
    print('Export detection model failed!')
    exit(ret)

# 释放资源
rknn.release()
print('Detection model conversion completed: ch_ppocr_det.rknn')

4.1.2 文字方向分类模型

from rknn.api import RKNN

rknn = RKNN()

rknn.config(
    mean_values=[[123.68, 116.78, 103.94]],
    std_values=[[58.395, 57.12, 57.375]],
    target_platform='rk3576',
    quantized_dtype='asymmetric_quantized-8'
)

ret = rknn.load_onnx(model='ch_ppocr_cls.onnx')
if ret != 0:
    print('Load classification model failed!')
    exit(ret)

ret = rknn.build(do_quantization=True, dataset='ocr_cls_samples.txt')
if ret != 0:
    print('Build classification model failed!')
    exit(ret)

ret = rknn.export_rknn('ch_ppocr_cls.rknn')
if ret != 0:
    print('Export classification model failed!')
    exit(ret)

rknn.release()
print('Classification model conversion completed: ch_ppocr_cls.rknn')

4.1.3 文字识别模型(CRNN)

from rknn.api import RKNN

rknn = RKNN()

rknn.config(
    mean_values=[[123.68, 116.78, 103.94]],
    std_values=[[58.395, 57.12, 57.375]],
    target_platform='rk3576',
    quantized_dtype='asymmetric_quantized-8'
)

ret = rknn.load_onnx(model='ch_ppocr_rec.onnx')
if ret != 0:
    print('Load recognition model failed!')
    exit(ret)

ret = rknn.build(do_quantization=True, dataset='ocr_rec_samples.txt')
if ret != 0:
    print('Build recognition model failed!')
    exit(ret)

ret = rknn.export_rknn('ch_ppocr_rec.rknn')
if ret != 0:
    print('Export recognition model failed!')
    exit(ret)

rknn.release()
print('Recognition model conversion completed: ch_ppocr_rec.rknn')

4.1.4 转换参数说明

参数值说明
mean_values[[123.68, 116.78, 103.94]]ImageNet 均值,RGB 通道
std_values[[58.395, 57.12, 57.375]]ImageNet 标准差,RGB 通道
target_platformrk3576目标平台,启用 RK3576 NPU 优化
quantized_dtypeasymmetric_quantized-8非对称 INT8 量化
do_quantizationTrue开启量化以提升 NPU 推理速度

4.2 板端 OCR 完整流程

以下代码在 RK3576 板端运行。

from rknnlite.api import RKNNLite
import cv2
import numpy as np


class RK3576OCR:
    """RK3576 PPOCR 推理

    集成 DB 检测 + CRNN 识别的完整 OCR 流程。
    检测模型使用三核 NPU 加速,识别模型使用单核运行。
    """

    def __init__(self, det_rknn='ch_ppocr_det.rknn',
                 cls_rknn='ch_ppocr_cls.rknn',
                 rec_rknn='ch_ppocr_rec.rknn',
                 dict_path='ppocr_keys_v1.txt'):
        # 加载检测模型(三核 NPU,最大算力)
        self.det_rknn = RKNNLite()
        self.det_rknn.load_rknn(det_rknn)
        self.det_rknn.init_runtime(core_mask=RKNNLite.NPU_CORE_0_1_2)

        # 加载分类模型(单核,轻量计算)
        self.cls_rknn = RKNNLite()
        self.cls_rknn.load_rknn(cls_rknn)
        self.cls_rknn.init_runtime(core_mask=RKNNLite.NPU_CORE_0)

        # 加载识别模型(单核)
        self.rec_rknn = RKNNLite()
        self.rec_rknn.load_rknn(rec_rknn)
        self.rec_rknn.init_runtime(core_mask=RKNNLite.NPU_CORE_0)

        # 加载字符字典
        self.char_dict = self._load_dict(dict_path)

    def _load_dict(self, dict_path):
        """加载字符字典

        字典文件 ppocr_keys_v1.txt 每行一个字符,
        第 0 行为空白符(blank),用于 CTC 解码。
        """
        with open(dict_path, 'r', encoding='utf-8') as f:
            return [line.strip() for line in f.readlines()]

    def detect(self, img):
        """文字检测

        Args:
            img: BGR 格式输入图像 (numpy.ndarray)

        Returns:
            list: 文字区域边界框列表,每个元素为 [x1, y1, x2, y2]
        """
        h, w = img.shape[:2]

        # 调整尺寸为 960 的倍数(DB 模型输入要求)
        img_resized = self._resize_image(img, 960)
        img_rgb = cv2.cvtColor(img_resized, cv2.COLOR_BGR2RGB)

        # NPU 推理
        outputs = self.det_rknn.inference(inputs=[img_rgb])

        # 后处理获取文字区域
        boxes = self._det_postprocess(outputs[0], h, w)
        return boxes

    def _resize_image(self, img, target_size):
        """等比例缩放图像,短边对齐到 target_size"""
        h, w = img.shape[:2]
        scale = target_size / min(h, w)
        new_w = int(w * scale)
        new_h = int(h * scale)
        return cv2.resize(img, (new_w, new_h))

    def _det_postprocess(self, output, orig_h, orig_w):
        """检测后处理

        从 DB 模型输出的概率图中提取文字区域边界框。
        """
        # 取第一个通道的概率图
        pred = output[0, :, :, 0]

        # 缩放回原始尺寸
        pred = cv2.resize(pred, (orig_w, orig_h))

        # 二值化
        binary = (pred > 0.3).astype(np.uint8) * 255

        # 形态学操作:连接断开的区域
        kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
        binary = cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel)

        # 查找轮廓
        contours, _ = cv2.findContours(
            binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
        )

        # 提取边界框
        boxes = []
        for contour in contours:
            x, y, bw, bh = cv2.boundingRect(contour)
            # 过滤过小的区域
            if bw > 10 and bh > 10:
                boxes.append([x, y, x + bw, y + bh])

        return boxes

    def classify_direction(self, img, boxes):
        """文字方向分类

        Args:
            img: BGR 格式输入图像
            boxes: 检测到的文字区域边界框列表

        Returns:
            list: 旋转后的边界框列表
        """
        rotated_boxes = []
        for box in boxes:
            x1, y1, x2, y2 = box
            crop = img[y1:y2, x1:x2]

            if crop.size == 0:
                rotated_boxes.append(box)
                continue

            # 分类模型输入:48x48
            crop_resized = cv2.resize(crop, (48, 48))
            crop_rgb = cv2.cvtColor(crop_resized, cv2.COLOR_BGR2RGB)

            outputs = self.cls_rknn.inference(inputs=[crop_rgb])
            cls_score = outputs[0][0][1]  # 第二个位置为 180° 概率

            # 如果分类为 180°,翻转图像(此处仅返回 box,实际翻转在识别前处理)
            rotated_boxes.append(box)

        return rotated_boxes

    def recognize(self, img, boxes):
        """文字识别

        对每个检测到的文字区域进行 CRNN 识别。

        Args:
            img: BGR 格式输入图像
            boxes: 文字区域边界框列表

        Returns:
            list: 识别结果列表,每个元素为 {'box': [x1,y1,x2,y2], 'text': str}
        """
        results = []
        for box in boxes:
            x1, y1, x2, y2 = box

            # 裁剪文字区域
            crop = img[y1:y2, x1:x2]
            if crop.size == 0:
                continue

            # 预处理:Resize 到 48x32 (W x H),保持宽高比
            h, w = crop.shape[:2]
            target_w, target_h = 48, 32
            scale = min(target_w / w, target_h / h)
            new_w = int(w * scale)
            new_h = int(h * scale)
            crop_resized = cv2.resize(crop, (new_w, new_h))

            # 填充到固定尺寸
            canvas = np.zeros((target_h, target_w, 3), dtype=np.uint8)
            canvas[:new_h, :new_w, :] = crop_resized

            crop_rgb = cv2.cvtColor(canvas, cv2.COLOR_BGR2RGB)

            # NPU 推理
            outputs = self.rec_rknn.inference(inputs=[crop_rgb])

            # CTC 解码
            text = self._rec_postprocess(outputs[0])
            if text.strip():
                results.append({'box': box, 'text': text})

        return results

    def _rec_postprocess(self, output):
        """CTC 解码

        从 CRNN 输出的序列概率中解码出文字。

        Args:
            output: shape (1, seq_len, vocab_size) 的输出张量

        Returns:
            str: 解码后的文字
        """
        output = output[0]  # (seq_len, vocab_size)

        # 取每个位置的最大概率索引
        indices = np.argmax(output, axis=1)

        # CTC 去重解码
        chars = []
        prev = -1
        for idx in indices:
            if idx != 0 and idx != prev:  # 0 是 blank,跳过重复
                if idx - 1 < len(self.char_dict):
                    chars.append(self.char_dict[idx - 1])
            prev = idx

        return ''.join(chars)

    def __call__(self, img):
        """完整 OCR 流程

        Args:
            img: BGR 格式输入图像 (numpy.ndarray)

        Returns:
            list: 识别结果列表
        """
        boxes = self.detect(img)
        results = self.recognize(img, boxes)
        return results

    def release(self):
        """释放 NPU 资源"""
        self.det_rknn.release()
        self.cls_rknn.release()
        self.rec_rknn.release()


# ==================== 使用示例 ====================

if __name__ == '__main__':
    # 初始化 OCR
    ocr = RK3576OCR()

    # 读取图像
    img = cv2.imread('document.jpg')
    if img is None:
        print('Error: cannot read image')
        exit(1)

    # 执行 OCR
    results = ocr(img)

    # 输出结果
    for r in results:
        box = r['box']
        text = r['text']
        print(f'[{box[0]}, {box[1]}, {box[2]}, {box[3]}] -> {text}')

    # 释放资源
    ocr.release()

4.3 NPU 核心分配策略

在 RK3576 上,三个 NPU 核心可以灵活组合使用:

核心模式常量说明典型用途
单核 0NPU_CORE_0使用 NPU 核心 0轻量模型(分类、小模型)
单核 1NPU_CORE_1使用 NPU 核心 1辅助模型并行
单核 2NPU_CORE_2使用 NPU 核心 2辅助模型并行
双核 0+1NPU_CORE_0_1使用核心 0 和 1中等算力需求
双核 1+2NPU_CORE_1_2使用核心 1 和 2中等算力需求
三核 0+1+2NPU_CORE_0_1_2使用全部三个核心大模型(检测模型)

推荐分配方案:

DB 检测模型(计算量大)  → NPU_CORE_0_1_2(三核)
CRNN 识别模型(计算量中)→ NPU_CORE_0(单核)
CLS 分类模型(计算量小) → NPU_CORE_0(单核,与识别模型串行)

若需要并行推理,可将不同模型分配到不同核心:

DB 检测模型 → NPU_CORE_0_1(双核)
CRNN 识别模型 → NPU_CORE_2(单核)

4.4 批量 OCR 处理

对多张图像进行批量 OCR 识别:

import os
import glob
from rknnlite.api import RKNNLite
import cv2


def batch_ocr(image_dir, output_file='ocr_results.txt'):
    """批量 OCR 处理

    Args:
        image_dir: 图像目录
        output_file: 结果输出文件
    """
    ocr = RK3576OCR()

    # 获取所有图像文件
    image_files = sorted(glob.glob(os.path.join(image_dir, '*.jpg')))
    image_files += sorted(glob.glob(os.path.join(image_dir, '*.png')))

    results = []
    for img_path in image_files:
        img = cv2.imread(img_path)
        if img is None:
            print(f'Skip: cannot read {img_path}')
            continue

        ocr_results = ocr(img)
        text = ' '.join([r['text'] for r in ocr_results])
        results.append({'file': img_path, 'text': text})

        print(f'{os.path.basename(img_path)}: {text}')

    # 写入结果
    with open(output_file, 'w', encoding='utf-8') as f:
        for r in results:
            f.write(f'{r["file"]}\t{r["text"]}\n')

    ocr.release()
    print(f'\nResults saved to {output_file}')


if __name__ == '__main__':
    batch_ocr('/path/to/images')

5. 代码详解

5.1 PPOCR 三阶段流程

Stage 1: DB 检测
  - 输入: 原始图像(Resize 至 960 短边)
  - 网络: ResNet18 骨干 + FPN + DB 头
  - 输出: 概率图 → 二值化 → 轮廓提取 → 边界框
  - NPU: 三核 (NPU_CORE_0_1_2)

Stage 2: 方向分类(可选)
  - 输入: 裁剪的文字区域(Resize 至 48x48)
  - 网络: MobileNetV3-Small
  - 输出: 0° 或 180° 分类
  - NPU: 单核 (NPU_CORE_0)

Stage 3: CRNN 识别
  - 输入: 对齐的文字图像(Resize 至 48x32)
  - 网络: MobileNetV3 骨干 + BiLSTM + CTC 头
  - 输出: 序列概率 → CTC 解码 → 文字
  - NPU: 单核 (NPU_CORE_0)

5.2 CTC 解码原理

CTC(Connectionist Temporal Classification)用于解决输入序列与输出标签长度不一致的问题:

输入:  宽度为 W 的图像 → CRNN 输出序列长度为 W/4
输出:  每个时间步输出 vocab_size 个字符的概率

CTC 解码规则:
  1. 每个时间步取概率最大的索引
  2. 索引 0 为 blank(空白符),跳过
  3. 连续重复的相同字符只保留一个
  4. 将索引映射到字符字典得到最终文字

示例:
  原始输出索引: [0, 5, 5, 8, 0, 3, 3, 3, 7]
  去重去 blank:  [5, 8, 3, 7]
  字典映射:       "你好世界"

5.3 图像预处理细节

检测模型预处理:

# 1. 短边缩放到 960
scale = 960 / min(h, w)

# 2. 归一化(ImageNet 标准)
mean = [123.68, 116.78, 103.94]
std = [58.395, 57.12, 57.375]
# img_normalized = (img_rgb - mean) / std
# 注意:RKNN 模型内部已集成归一化,inference 时直接传入 uint8 即可

# 3. HWC → CHW(RKNN 自动处理)

识别模型预处理:

# 1. 裁剪文字区域
crop = img[y1:y2, x1:x2]

# 2. 等比例缩放到 48x32
scale = min(48 / w, 32 / h)
new_w, new_h = int(w * scale), int(h * scale)
crop_resized = cv2.resize(crop, (new_w, new_h))

# 3. 黑色填充到 48x32
canvas = np.zeros((32, 48, 3), dtype=np.uint8)
canvas[:new_h, :new_w] = crop_resized

5.4 OCR 性能参考

以下性能数据需在 C-3576BQ + M4-R2 V10 板卡上实际测量(待板上验证):

阶段输入尺寸FPS(三核)FPS(单核)用途
DB 检测960x960待板上验证待板上验证文字定位
方向分类48x48待板上验证待板上验证方向矫正
CRNN 识别48x32待板上验证待板上验证单字符行识别
完整流程自适应待板上验证待板上验证端到端 OCR

说明:

  • 三核模式下检测模型 FPS 明显高于单核模式
  • 分类模型计算量极小,单核已足够
  • 识别模型 FPS 取决于检测到的文字区域数量
  • 完整流程 FPS 受最慢阶段(检测)限制

6. 常见问题

6.1 检测不到文字

现象: 图像中有清晰文字,但检测阶段未返回任何边界框。

可能原因及解决方案:

原因解决方案
图像模糊确保图像分辨率足够,文字清晰
检测阈值过高降低二值化阈值(当前 0.3,可尝试 0.2)
文字区域过小调整最小边界框过滤尺寸
图像对比度低预处理增加对比度(CLAHE)
# 调整检测阈值
binary = (pred > 0.2).astype(np.uint8) * 255  # 降低阈值

# 调整最小过滤尺寸
if bw > 5 and bh > 5:  # 降低最小尺寸要求
    boxes.append([x, y, x + bw, y + bh])

6.2 识别结果有乱码

现象: 识别出的文字包含不相关的字符或乱码。

可能原因及解决方案:

原因解决方案
字典文件不完整确认 ppocr_keys_v1.txt 包含全部字符
模型与字典版本不匹配确保 RKNN 模型与字典来自同一 PPOCR 版本
图像严重倾斜加入倾斜矫正预处理
裁剪区域不完整检查检测边界框是否完整覆盖文字区域

6.3 速度太慢

现象: OCR 处理单张图像耗时超过预期。

优化建议:

# 1. 使用三核 NPU 加速检测模型
self.det_rknn.init_runtime(core_mask=RKNNLite.NPU_CORE_0_1_2)

# 2. 降低检测输入分辨率(牺牲少量精度)
# 将 960 改为 768
img_resized = self._resize_image(img, 768)

# 3. 减少后处理中的形态学操作
# 移除或简化 morphologyEx 操作

# 4. 预分配内存,避免重复分配
# 在 __init__ 中预创建 canvas 等临时数组

6.4 内存不足

现象: 加载模型时提示内存不足或 OOM。

解决方案:

# 检查可用内存
free -m

# 增加 swap 空间
sudo fallocate -l 2G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

# 或者选择较小的 PPOCR 版本
# 使用 PP-OCRv2 替代 PP-OCRv3

6.5 RKNN 模型加载失败

现象: 板端加载 .rknn 文件时报错。

排查步骤:

# 1. 确认 RKNN Lite2 版本与 Toolkit2 版本匹配
pip show rknn-lite2

# 2. 确认模型文件完整
ls -la *.rknn

# 3. 确认目标平台正确(转换时必须指定 rk3576)
# 检查转换脚本中的 target_platform 参数

# 4. 查看详细错误日志
import logging
logging.basicConfig(level=logging.DEBUG)

相关文档

文档名称路径说明
NPU 架构与性能概览NPU架构与性能概览RK3576 NPU 架构介绍
模型转换与量化模型转换与量化模型转换流程与量化
分类模型部署(LeNet/ResNet)分类模型部署(LeNet-ResNet)分类模型部署
人脸检测与识别人脸检测与识别人脸检测/识别部署
NPU 性能调优与调试NPU性能调优与调试NPU 推理性能调优

在 GitHub 上编辑此页