首页
商城
  • English
  • 简体中文
首页
商城
  • English
  • 简体中文
  • 产品系列

    • FPGA+ARM

      • GM-3568JHF

        • 一、简介

          • GM-3568JHF 简介
        • 二、快速开始

          • 00 前言
          • 01 环境搭建
          • 02 编译说明
          • 03 烧录指南
          • 04 调试工具
          • 05 软件更新
          • 06 查看信息
          • 07 测试命令
          • 08 应用编译
          • 09 源码获取
        • 三、外设与接口

          • 01 USB
          • 02 显示与触摸
          • 03 以太网
          • 04 WIFI
          • 05 蓝牙
          • 06 TF-Card
          • 07 音频
          • 08 串口
          • 09 CAN
          • 10 RTC
        • 四、应用开发

          • 01 UART读写案例
          • 02 按键检测案例
          • 03 LED灯闪烁案例
          • 04 MIPI屏幕检测案例
          • 05 读取 USB 设备信息案例
          • 06 FAN 检测案例
          • 07 FPGA FSPI 通信案例
          • 08 FPGA DMA 读写案例
          • 09 GPS调试案例
          • 10 以太网测试案例
          • 11 RS485读写案例
          • 12 FPGA IIC 读写案例
          • 13 PN532 NFC读卡案例
          • 14 TF卡读写案例
        • 五、QT开发

          • 01 ARM64交叉编译器环境搭建
          • 02 QT 程序加入开机自启服务
        • 六、RKNN_NPU开发

          • 01 RK3568 NPU 概述
          • 02 开发环境搭建
          • 运行官方 YOLOv5 示例
        • 七、FPGA开发

          • ARM与FPGA通讯
          • FPGA开发手册
        • 八、其他

          • 01 根目录文件系统的修改
          • 02 系统自启服务
        • 九、资料下载

          • 资料下载
    • ShimetaPi

      • M4-R1

        • 一、简介

          • M4-R1简介
        • 二、快速上手

          • 01 OpenHarmony概述
          • 02 镜像烧录
          • 03 应用开发快速上手
          • 04 设备开发快速上手
        • 三、应用开发

          • 01 ArkUI

            • 1 ArkTS语言简介
            • 2 UI 组件-Row 容器介绍
            • 3 UI 组件-Column 容器介绍
            • 4 UI 组件-Text 组件
            • 5 UI 组件-Toggle 组件
            • 6 UI 组件-Slider 组件
            • 7 UI 组件-Animation 组件&Transition 组件
          • 02 资料获取

            • 1 OpenHarmony 官方资料
          • 03 开发须知

            • 1 Full-SDK替换教程
            • 2 引入和使用三方库
            • 3 HDC调试
            • 4 命令行恢复出厂模式
            • 5 升级App为system权限
          • 04 构建第一个应用

            • 1 构建第一个ArkTs应用-HelloWorld
          • 05 案例

            • 01 串口调试助手应用案例
            • 02 手写板应用案例
            • 03 数字时钟应用案例
            • 04 WIFI 信息获取应用案例
        • 四、设备开发

          • 1 Ubuntu环境开发

            • 01 环境搭建
            • 02 下载源码
            • 03 编译源码
          • 2 使用DevEco Device Tool 工具

            • 01 工具简介
            • 02 开发环境的搭建
            • 03 导入SDK
            • 04 HUAWEI DevEco Tool 功能介绍
        • 五、内核外设与接口

          • 01 指南
          • 02 设备树介绍
          • 03 NAPI 入门
          • 04 ArkTS入门
          • 05 NAPI开发实战演示
          • 06 GPIO介绍
          • 07 I2C通讯
          • 08 SPI通信
          • 09 PWM 控制
          • 10 串口通讯
          • 11 TF卡
          • 12 屏幕
          • 13 触摸
          • 14 Ethernet(以太网)
          • 15 M.2 硬盘
          • 16 音频
          • 17 WIFI & BT
          • 18 摄像头
        • 六、资料下载

          • 资料下载
      • M4-R2

        • 一、产品简介

          • M4-R2 产品简介
        • 二、快速上手

          • 快速上手
        • 三、Android 系统

          • 1 快速上手

            • Android系统烧录与启动
            • 开发环境搭建
            • ADB调试与日志分析
            • SDK下载与编译环境搭建
            • Android系统基础操作
          • 2 SDK 编译

            • Android_SDK编译
            • Android构建系统与增量编译
          • 3 系统开发

            • Android系统定制
          • 4 应用开发

            • Android应用开发入门
            • Android JNI开发
          • 5 驱动与 HAL

            • Android HAL开发
          • 6 AI 与 NPU

            • Android NPU使用指南
        • 四、硬件参考

          • 核心板参数
          • 底板接口定义
          • 40PIN引脚定义
          • 电源管理
        • 五、常见问题与故障排除

          • 系统启动问题
          • 外设驱动问题
          • 网络连接问题
          • 显示问题
          • 常见编译错误
        • 六、应用方案参考

          • 智能显示终端方案
          • 边缘AI计算方案
          • 工业控制方案
          • NVR安防监控方案
          • 智能家居网关方案
        • 七、资料下载

          • 资料下载
      • M5-R2A

        • 一、产品简介

          • M5-R2A 产品简介
        • 二、快速上手

          • 系统烧录指南
          • 开发环境搭建
          • 快速上手
          • SDK下载与编译环境搭建
        • 四、Debian/Ubuntu 系统

          • 1 快速上手

            • 系统启动与基础操作
            • 网络配置与SSH
            • 软件包管理与更新
            • Debian 与 Ubuntu 镜像差异
          • 2 系统开发

            • Linux SDK编译
            • 内核配置与裁剪
            • 设备树详解与实践
            • 根文件系统构建
          • 3 外设驱动开发

            • GPIO驱动与控制
            • I2C驱动开发
            • SPI驱动开发
            • UART串口驱动
            • PWM驱动
            • ADC驱动
            • CAN/CAN-FD驱动
            • USB主机与设备驱动
            • SDMMC/eMMC驱动
            • 以太网GMAC驱动
            • 音频驱动
            • 摄像头Camera驱动
            • 触摸屏驱动
            • 显示DRM驱动
            • HDMI显示驱动
            • PCIe驱动
            • WiFi/蓝牙驱动
            • 看门狗WDT驱动
            • 热敏传感器THERMAL驱动
          • 4 应用开发

            • C/C++应用开发入门
            • Python应用开发
            • Qt嵌入式开发实战
            • GStreamer多媒体开发
            • 网络编程与应用
            • 文件系统与存储
          • 5 AI 与 NPU

            • NPU架构与性能概览
            • RKNN Toolkit2安装与使用
            • 模型转换与量化
            • 分类模型部署(LeNet/ResNet)
            • 目标检测部署(YOLOv5/v7/v8)
            • 语义分割部署
            • 人脸检测与识别
            • OCR文字识别
            • NPU性能调优与调试
          • 6 多媒体

            • 显示框架
            • 摄像头应用
            • 视频编解码(MPP)
            • 音频开发与ALSA
            • RGA图像处理
          • 7 性能优化与调试

            • 系统启动时间优化
            • CPU/GPU/NPU调优
            • 内存与存储优化
            • 功耗分析与优化
            • 调试工具使用指南
          • 8 高级主题

            • 安全启动与加密
            • OTA远程升级
            • Docker容器部署
            • ROS/ROS2机器人开发
            • RTOS与Linux协同
        • 五、Android 系统

          • 1 快速上手

            • Android系统烧录与启动
            • Android系统基础操作
            • ADB调试与日志分析
          • 2 SDK 编译

            • Android SDK编译
            • Android构建系统与增量编译
          • 3 系统开发

            • Android系统定制
          • 4 应用开发

            • Android应用开发入门
            • Android JNI开发
          • 5 驱动与 HAL

            • Android HAL开发
          • 6 AI 与 NPU

            • Android NPU使用指南
        • 六、硬件参考

          • 核心板参数
          • 底板接口定义
          • 40PIN引脚定义
          • 电源管理
        • 七、资料下载

          • 资料下载
      • Pico-G1

        • 一、产品概述

          • 01 产品介绍
          • 02 SDK版本基本信息
        • 二、快速入门

          • 01 开发环境搭建
          • 02 镜像编译
          • 03 镜像烧录
          • 04 系统登录
          • 05 网络配置
          • 06 文件传输
          • 07 SDK目录结构
          • 08 部署第一个应用程序
          • 09 部署第一个驱动程序
          • 10 SD卡挂载
        • 三、外设与接口

          • 01 GPIO控制
          • 02 UART串口通信
          • 03 I2C 通信
          • 04 SPI 通信
        • 四、MPP媒体开发

          • 01 MPP媒体处理软件
          • 02 图像处理链路
          • 03 视频输入
          • 04 图像编码
        • 五、NPU与AI

          • 01 NPU驱动与运行库架构
          • 02 .xmm 模型加载
          • 03 SVP视频处理
          • 04 AI降噪 (AI_NR)
        • 六、应用程序示例

          • 01 加解密接口应用
          • 02 ADC 采集应用
          • 03 低功耗应用
          • 04 音频处理应用
          • 05 视频编码应用
          • 06 视频输入应用
          • 07 视频图形子系统应用
          • 08 区域叠加应用
          • 09 智能视频引擎应用
          • 10 UVC 网络摄像头应用
          • 11 综合快速演示应用
          • 12 FPN 校正应用
          • 13 区域运动检测应用
          • 14 MTCNN 人脸检测应用
        • 七、扩展板外设功能例程

          • 00 - Pico 扩展板外设功能例程总览
          • 01 - OLED 显示应用
          • 02 - TFT 显示应用
          • 03 - MPU6050 陀螺仪应用
          • 04 - ADC 采集应用
          • 05 - 无源蜂鸣器应用
          • 06 - MQ 气体传感器应用
          • 07 - GPS 定位应用
          • 08 - SHT20 温湿度应用
          • 09 - 超声波测距应用
          • 10 - SPO2 血氧传感器应用
          • 11 - 电机控制应用
          • 12 - 舵机控制应用
    • 开源鸿蒙

      • SC-3568HA

        • 一、简介

          • SC-3568HA简介
        • 二、快速上手

          • OpenHarmony概述
          • 镜像烧录
          • 开发环境准备
          • Hello World应用以及部署
        • 三、应用开发

          • ArkUI

            • 第一章 ArkTS语言简介
            • 第二章 UI组件介绍和实际应用(上)
            • 第三章 UI组件介绍和实际应用(中)
            • 第四章 UI组件介绍和实际应用(下)
          • 拓展

            • 第一章 入门指引
            • 第二章 三方库的引用和使用
            • 第三章 应用编译以及部署
            • 第四章 命令行恢复出厂设置
            • 第五章 系统调试--HDC调试
            • 第六章 APP 稳定性测试
            • 第七章 应用测试
        • 四、设备开发

          • 第一章 环境搭建
          • 第二章 下载源码
          • 第三章 编译源码
        • 五、内核的外设与接口

          • 树莓派接口
          • GPIO 接口
          • I2C 接口
          • SPI通信
          • PWM控制
          • 串口通讯
          • TF Card
          • 屏幕
          • 触摸
          • 音频
          • RTC
          • Ethernet
          • M.2
          • MINI-PCIE
          • Camera
          • WIFI&BT
          • 树莓派拓展板
        • 六、资料下载

          • 资料下载
      • M-K1HSE

        • 一、简介

          • M-K1HSE 简介
        • 二、快速开始

          • 开发环境搭建
          • 源码获取
          • 编译说明
          • 烧录指南
        • 三、应用开发

          • 00 应用开发环境搭建
          • 01 第一个应用-Hello World
        • 四、外设与接口

          • 01 Audio
          • 02 RS485
          • 03 Display
        • 五、系统定制开发

          • 系统移植
          • 系统定制
          • 驱动开发
          • 系统调试
          • OTA升级
        • 六、资料下载

          • 资料下载
    • HVS视觉融合相机

      • 快速开始

        • 01 SDK 介绍
        • 02 资料下载
        • 03 设备固件烧录
        • 04 第一个 C++ 程序
        • 05 第一个 Python 程序
        • 06 Python 数据分析
        • 07 MultiVision Studio
        • 08 版本介绍
      • 二次开发

        • 01 编程指引

          • 01 打开相机
          • 02 读取事件
          • 03 录制与回放
          • 04 事件处理
          • 05 显示与可视化
          • 06 调参
          • 07 采集 APS 图像
          • 08 帧率切换
          • 09 时间戳同步
        • 02 Toolkit SDK

          • 01 Hybrid Vision Toolkit
          • 02 快速上手
          • 03 C++ API
          • 04 Python API
        • 03 Algo SDK

          • 01 Hybrid Vision Algo
          • 02 Algo API
          • 03 Windows Algo SDK
        • 04 USB数据协议
        • 05 示例程序总览
        • 06 应用场景
      • 基础知识

        • 01 事件相机基础原理
        • 02 HVS 融合视觉
        • 03 事件可视化
        • 04 数据格式参考
        • 05 术语表
        • 06 偏置与调参
        • 07 视频教程
      • HVS 相机

        • 01 HVS 相机快速上手
        • 02 网络化能力

          • 01 HVS 相机系统架构
          • 2 EVS Network Server
          • 3 EVS Time Sync
          • 4 Web Window
        • 03 HVS 相机兼容性矩阵
        • 04 常见问题解决指南
        • 05 产品

          • CF-NRS1(灵光一号视觉融合相机)
      • HVS 模块

        • 01 MIPI 模块快速上手
        • 02 载板适配

          • RDK X5 载板适配
          • RDK S100 载板适配
          • 树莓派载板适配
          • shimetapi 板载板适配
        • 03 MIPI 模块兼容性矩阵
        • 04 产品

          • EVS_003 传感器模块
    • AI硬件

      • 1684XB-32T

        • 一、简介

          • AIBOX-1684XB-32简介
        • 二、快速上手

          • 初次使用
          • 网络配置
          • 磁盘使用
          • 内存分配
          • 风扇策略
          • 固件升级
          • 交叉编译
          • 模型量化
        • 三、应用开发

          • 开发简介

            • Sophgo SDK开发
            • SOPHON-DEMO简介
          • 大语言模型

            • 部署Llama3示例
            • Sophon LLM_api_server开发
            • 部署MiniCPM-V-2_6
            • Qwen-2-5-VL图片视频识别DEMO
            • Qwen3-chat-DEMO
            • Qwen3-Qwen Agent-MCP开发
            • Qwen3-langchain-AI Agent
          • 深度学习

            • ResNet(图像分类)
            • LPRNet(车牌识别)
            • SAM(通用图像分割基础模型)
            • YOLOv5(目标检测)
            • OpenPose(人体关键点检测)
            • PP-OCR(光学字符识别)
        • 四、资料下载

          • 资料下载
      • 1684X-416T

        • 简介

          • AIBOX-1684X-416简介
        • Demo简单操作指引

          • shimeta智慧监控demo的简单使用说明
      • RDK-X5

        • 简介

          • RDK-X5 硬件简介
        • 快速开始

          • RDK-X5 快速开始
        • 应用开发

          • AI在线模型开发

            • 实验01-接入火山引擎豆包 AI
            • 实验02-图片分析
            • 实验03-多模态视觉分析定位
            • 实验04-多模态图文比较分析
            • 实验05-多模态文档表格分析
            • 实验06-摄像头运用-AI视觉分析
          • 大语言模型

            • 实验01-语音识别
            • 实验02-语音对话
            • 实验03-多模态图片分析-语音对话
            • 实验04-多模态图片比较-语音对话
            • 实验05-多模态文档分析-语音对话
            • 实验06-多模态视觉运用-语音对话
          • ROS2基础开发

            • 实验01-搭建环境
            • 实验02-工作包的创建及编译
            • 实验03-运行 ROS2 话题通信节点
            • 实验04-ROS2 相机应用
          • 40pin-IO开发

            • 实验01-GPIO 输出(LED闪烁)
            • 实验02-GPIO 输入
            • 实验03-按键控制 LED
            • 实验04-PWM 输出
            • 实验05-串口输出
            • 实验06-IIC 实验
            • 实验07-SPI 实验
          • USB模块开发使用

            • 实验01-USB 语音模块使用
            • 实验02-声源定位模块使用
          • 机器视觉技术实战

            • 实验01-打开 USB 摄像头
            • 实验02-颜色识别检测
            • 实验03-手势识别体验
            • 实验04-YOLOv5物体检测
      • RDK-S100

        • 简介

          • RDK-S100 硬件简介
        • 快速开始

          • RDK-S100 硬件简介
        • 应用开发

          • AI在线模型开发

            • 实验01-接入火山引擎豆包 AI
            • 实验02-图片分析
            • 实验03-多模态视觉分析定位
            • 实验04-多模态图文比较分析
            • 实验05-多模态文档表格分析
            • 实验06-摄像头运用-AI视觉分析
          • 大语言模型

            • 实验01-语音识别
            • 实验02-语音对话
            • 实验03-多模态图片分析-语音对话
            • 实验04-多模态图片比较-语音对话
            • 实验05-多模态文档分析-语音对话
            • 实验06-多模态视觉运用-语音对话
          • ROS2基础开发

            • 实验01-搭建环境
            • 实验02-工作包的创建及编译
            • 实验03-运行 ROS2 话题通信节点
            • 实验04-ROS2 相机应用
          • 40pin-IO开发

            • 实验01-GPIO 输出(LED闪烁)
            • 实验02-GPIO 输入
            • 实验03-按键控制 LED
            • 实验04-PWM 输出
            • 实验05-串口输出
            • 实验06-IIC 实验
            • 实验07-SPI 实验
          • USB模块开发使用

            • 实验01-USB 语音模块使用
            • 实验02-声源定位模块使用
          • 机器视觉技术实战

            • 实验01-打开 USB 摄像头
            • 实验02-图像处理基础
            • 实验03-目标检测
            • 实验04-图像分割
      • AIBOX-M88(RK1828)

        • 一、简介

          • AIBOX-M88(RK1828) - 产品介绍
          • AIBOX-M88(RK1828) 硬件规格
          • AIBOX-M88(RK1828) 使用与安全
        • 二、快速开始

          • AIBOX-M88(RK1828) 镜像烧录
          • RK182X 硬件安装与验证
          • RK182X 开发环境快速搭建
          • RK182X SDK 总览
          • RK182X 环境搭建详解
          • RK182X 快速开始
          • 原厂 SDK 资料抽取记录
        • 三、开发指南

          • ClawChips 架构与原理
          • SKILL 使用手册
          • RK182X系列LLM推理(RK1828型号)
          • RK182X系列CNN推理(RK1828型号)
          • 模型转换
          • RK182X AI Agent 应用开发指南
          • RK182X 工业异常检测应用
        • 四、SDK 参考

          • RKNN3-SDK 概述

            • RKNN3 SDK 概述
          • RKNN3-Toolkit

            • RKNN3 Toolkit 安装与使用
          • RKLLM

            • RKLLM 设备端 LLM 推理
          • RK182X系列 NPU 概述与架构(RK1828型号)
          • RK182X INT8 量化推理部署
          • RK182X MPP 多媒体处理框架
          • MPP 详解

            • RK182X 视频解码
            • RK182X 视频编码
          • NPU 详解

            • RKNN 模型转换
            • RK182X NPU INT8 量化推理
            • RK182X 多模型并行推理
          • RGA 详解

            • RK182X RGA 2D 图形加速
          • VPU 详解

            • RK182X VPU 编解码
        • 五、硬件参考

          • RK182X系列 硬件架构概述(RK1828型号)
          • RK182X 引脚定义与复用配置
          • RK182X 引脚定义
          • RK182X 电源管理
          • RK182X 时钟与 PLL 配置
          • RK182X 时钟与频率配置
        • 六、实战教程

          • Hello World
          • Hello RK1828 - 第一个程序
          • RTSP 推流
          • RTSP 推流 + AI 分析
          • 视美泰AI龙虾一键部署
          • PaddleOCR-VL 文字识别
          • Qwen3-1.7B LLM 文本对话
          • AI 巡检多视角(Qwen3-VL 包装)
          • YOLOv5 目标检测
        • 七、资料下载

          • 资料下载
        • 八、常见问题

          • 常见问题
    • 核心板

      • C-3568BQ

        • 简介

          • C-3568BQ 简介
      • C-3588LQ

        • 简介

          • C-3588LQ 简介
      • GC-3568JBAF

        • 简介

          • GC-3568JBAF 简介
      • C-K1BA

        • 简介

          • C-K1BA 简介
    • 软件平台

      • ShiMetaPi Workbench

        • 一、产品简介

          • 产品概述
          • 核心架构
          • 功能入口
          • 支持的硬件
          • 版本说明
        • 二、快速入门

          • 安装与登录
          • 连接设备
          • 配置环境
          • 接入 AIHub
          • 首次调用模型
        • 三、用户指南

          • 工作区总览
          • 设备管理
          • 模型广场
          • 一键部署
          • 视觉 - SVP
          • 视觉 - 自定义模型
          • shimeta-py IDE
          • 终端
          • Agent 调试助手
          • 设置与资源
        • 四、常见问题

          • 安装与登录
          • 设备连接
          • 模型与部署
          • 视觉与运行时
          • 设置与其他
      • ShimetaPi软件源

        • 简介

          • ShimetaPi 软件源
        • Pico G1 (GK7206)

          • 快速开始

            • 安装与首次推理
            • shimeta_infer — 图片推理
            • shimeta_camera — 摄像头实时推理
            • SVP 场景检测
            • 文件传输与内置模型参考
            • 常见问题
          • HTTP API & Python SDK

            • HTTP API 参考
      • 模型微调训练平台

        • 一、平台介绍

          • 模型训练平台
        • 二、快速上手

          • 注册与登录
          • 创建第一个模型(30 分钟快速体验)
        • 三、训练指南

          • 数据准备与标注
          • 训练参数配置
          • 启动与监控训练
          • 模型评估与测试
        • 四、模型部署

          • 导出模型
          • 部署到边缘设备

RK3588 视频编解码(MPP)

文档版本: V1.0 适用系统: Linux 6.1(Debian 12 / Ubuntu 22.04) 适用硬件: RK3588(C-3588LQ V1.0 核心板 + SHIMETAPI-M5-R2A V1.0 底板) 更新日期: 2026-08-19

1. 概述

1.1 功能简介

RK3588 搭载 Rockchip MPP(Media Process Platform,媒体处理平台)硬件编解码引擎,支持 8K 级别视频的硬件加速解码与多路编码。MPP 是瑞芯微提供的编解码中间件:应用程序调用它的用户态库,库再去驱动芯片内置的硬件编解码单元,CPU 全程不用逐像素计算。RK3588 里负责编解码的硬件单元有两个:

模块寄存器基地址功能
rkvdec2fe610000视频解码器,支持 H.264/H.265/VP9/AV1
rkvencfe640000视频编码器,支持 H.264/H.265

编解码能力如下:

编解码类型分辨率/帧率说明
H.264 解码8K@30fps / 4K@120fps最高支持 8K@30 或 4K@120
H.265 解码8K@60fps支持 8K@60 流畅解码
VP9 解码8K@30fpsGoogle VP9 格式
AV1 解码8K@30fps新一代开放格式
H.264 编码4K@60fps高帧率编码
H.265 编码4K@30fps高压缩率编码

其他核心特性包括:多路并行编解码、低延迟模式、硬件后处理(去块、色彩空间转换)、DRM/GBM Buffer 支持,以及 NV12/NV21/YUV420P 等多种像素格式。用户态通过 MPP 库 librockchip_mpp.so 调用这些硬件。

1.2 应用场景

应用场景使用的编解码能力说明
智能安防监控多路解码 + 编码同时解码多路摄像头流并编码存储
视频会议终端H.264/H.265 编解码实时双向视频通话
8K 媒体播放H.265/VP9 解码8K 超高清视频播放
视频转码服务器编码 + 解码格式转换与转码服务
AI 视频分析解码 + 后处理视频帧提取用于 AI 推理

1.3 工作原理

                        ┌─────────────────────────────────┐
                        │        RK3588 MPP 架构          │
                        └─────────────────────────────────┘

  ┌──────────┐     ┌──────────────┐     ┌──────────────┐
  │ 视频输入 │────>│  rkvdec2     │────>│  MPP 框架    │
  │ (编码流) │     │  硬件解码器  │     │  (用户态库)  │
  └──────────┘     │  fe610000    │     └──────┬───────┘
                   │  H.264/H.265│            │
                   │  VP9/AV1    │            │
                   └──────────────┘     ┌──────┴───────┐
                                        │              │
  ┌──────────┐     ┌──────────────┐     │   应用程序   │
  │ 视频输出 │<────│  rkvenc      │<────│              │
  │ (编码流) │     │  硬件编码器  │     └──────────────┘
  └──────────┘     │  fe640000    │
                   │  H.264/H.265│
                   └──────────────┘

2. 硬件准备

2.1 硬件清单

序号硬件名称型号/规格说明
1核心板C-3588LQ V1.0RK3588 主芯片,含 VPU 编解码单元
2底板SHIMETAPI-M5-R2A V1.0扩展接口底板
3电源12V/5A DC至少 60W 供电
4HDMI 输出HDMI 2.1 线缆用于显示输出
5存储eMMC 32GB+ 或 TF 卡用于系统和测试码流
6串口调试USB 转串口线用于串口调试
7网线千兆网线用于网络传输和 SSH

2.2 硬件确认

上电进入系统后,用下面的命令确认芯片、内核和编解码设备都就位,预期输出写在注释里:

# 确认 RK3588 芯片
cat /proc/device-tree/model

# 确认内核版本(应为 6.1)
uname -r

# 确认解码器设备节点
ls /dev/video*

# 查看 MPP 相关内核模块
lsmod | grep mpp
# 预期看到 rkvdec2, rkvenc 等模块

# 确认设备树中的 VPU 节点
cat /proc/device-tree/vpu@fe610000/compatible
# 预期输出: rockchip,rkvdec2

cat /proc/device-tree/vpu@fe640000/compatible
# 预期输出: rockchip,rkvenc

3. 软件准备

3.1 内核配置项

自己编译内核时,需要确认以下配置已启用:

# MPP 相关配置
CONFIG_ROCKCHIP_MPP=y
CONFIG_ROCKCHIP_VCODEC=y
CONFIG_ROCKCHIP_RKVDEC2=y
CONFIG_ROCKCHIP_RKVENC=y

# V4L2 相关配置
CONFIG_V4L2_VIDEODEV=y
CONFIG_V4L2_MEM2MEM=y
CONFIG_MEDIA_SUPPORT=y
CONFIG_MEDIA_CONTROLLER=y

# DMA-BUF 相关配置
CONFIG_DMABUF=y
CONFIG_DMA_BUF_SYNC=y
CONFIG_DMABUF_HEAPS=y
CONFIG_DMABUF_HEAPS_ROCKCHIP=y

3.2 设备树配置

解码器和编码器在设备树中的节点定义如下:

/* 解码器节点 */
vpu@fe610000 {
    compatible = "rockchip,rkvdec2";
    reg = <0x0 0xfe610000 0x0 0x10000>;
    interrupts = <GIC_SPI 36 IRQ_TYPE_LEVEL_HIGH>;
    clocks = <&cru ACLK_VDEC>, <&cru HCLK_VDEC>,
             <&cru ACLK_VDEC_NIU>, <&cru HCLK_VDEC_NIU>;
    clock-names = "axi", "ahb", "noc", "h264";
    resets = <&cru SRST_A_VDEC>, <&cru SRST_H_VDEC>;
    reset-names = "axi", "ahb";
    power-domains = <&power RK3588_PD_VDEC>;
    status = "okay";
};

/* 编码器节点 */
vpu@fe640000 {
    compatible = "rockchip,rkvenc";
    reg = <0x0 0xfe640000 0x0 0x10000>;
    interrupts = <GIC_SPI 38 IRQ_TYPE_LEVEL_HIGH>;
    clocks = <&cru ACLK_VENC>, <&cru HCLK_VENC>,
             <&cru CLK_VENC_CORE>;
    clock-names = "axi", "ahb", "core";
    resets = <&cru SRST_A_VENC>, <&cru SRST_H_VENC>;
    reset-names = "axi", "ahb";
    power-domains = <&power RK3588_PD_VENC>;
    status = "okay";
};

3.3 MPP 库安装

先检查系统里有没有 MPP 库,没有再从源码编译安装:

# 方法1:使用预编译库(推荐)
ls /usr/lib/librockchip_mpp.so*
ldconfig -p | grep rockchip_mpp

# 方法2:从源码编译安装
git clone https://github.com/rockchip-linux/mpp.git
cd mpp/build/linux/aarch64/
./make-Makefiles.bash
make -j$(nproc)

sudo cp librockchip_mpp.so* /usr/lib/
sudo cp librockchip_mpp_*.so* /usr/lib/
sudo ldconfig

# 确认安装
ls -la /usr/lib/librockchip_mpp*

3.4 ffmpeg 编译(带 MPP 硬件加速)

要让 ffmpeg 走 MPP 硬件加速,需要编译带 rkmpp 支持的 Rockchip 定制版 ffmpeg:

# 获取 Rockchip 定制 ffmpeg 源码
git clone https://github.com/rockchip-linux/ffmpeg.git
cd ffmpeg

./configure \
    --enable-rkmpp \
    --enable-libdrm \
    --enable-gpl \
    --enable-nonfree \
    --prefix=/usr/local

make -j$(nproc)
sudo make install

# 验证 rkmpp 支持
ffmpeg -hwaccels 2>&1 | grep rkmpp
ffmpeg -encoders 2>&1 | grep rkmpp
# 预期看到 h264_rkmpp, hevc_rkmpp

4. 操作步骤

4.1 MPP 测试工具编译

先看看测试工具是否已经就位:

# 出厂镜像已预装全套工具,无需编译!
which mpi_dec_test mpi_enc_test mpp_info_test
# /usr/bin/mpi_dec_test
# /usr/bin/mpi_enc_test
# /usr/bin/mpp_info_test

mpp_info_test | head -3
# 输出(MPP 版本 520ab553, 2025-12-16):
# mpp_info_test: normal version log:
# mpp_info: mpp version: 520ab553 author: Herman Chen 2025-12-16 ...

# 如需从源码构建(二次开发时):
git clone https://github.com/rockchip-linux/mpp.git
cd mpp && mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release -DROCKCHIP_MPP=ON
make -j$(nproc)

4.2 解码测试

解码用 mpi_dec_test,关键是 -t 后面的编码类型 ID,注意和原文不同:

# ⚠ 勘误:-t 的编码类型 ID 与原文不同!
# 直接跑 mpi_dec_test(无参数)会打印完整 coding type 表,本机:
#   mpeg2=2   mpeg4=4   h.263=3   h.264/AVC=7   h.265/HEVC=16777220
#   vp8=9     jpeg=8    av1=16777224

# H.264 解码(-t 7)
mpi_dec_test -t 7 -i test.h264 -o output.yuv

# H.265 解码(-t 16777220)
mpi_dec_test -t 16777220 -i test.h265 -o output.yuv

# AV1 解码(-t 16777224)
mpi_dec_test -t 16777224 -i test.av1 -o output.yuv

# 指定分辨率输出
mpi_dec_test -t 7 -i test.h264 -o output.yuv -w 3840 -h 2160

用出厂自带的 200 帧 H.264 测试流

mpi_dec_test -t 7 -i /oem/200frames_count.h264 -n 200
mpp: decode get frame 199
mpp: decode 200 frames time 77 ms delay 5 ms fps 2586.79
mpp: test success max memory 5.27 MB

对照同一流用 ffmpeg(apt 5.1.9,纯 CPU 软解)耗时 0.24s,约 833 FPS;MPP 硬解 77ms,约 2586 FPS,是软解的 3.1 倍,而且完全不占 CPU。

4.3 编码测试

编码用 mpi_enc_test,参数含义都写在注释里:

# 勘误:-t 7 = H.264(不是 1);-t 16777220 = H.265(不是 2)
# 编码器支持: h264=7  jpeg=8  h265=16777220  vp8=9

# H.264 编码(-f 0 表示 NV12 输入)
mpi_enc_test -t 7 -w 1280 -h 720 -f 0 -n 30 -i input.nv12 -o output.h264

# H.265 编码
mpi_enc_test -t 16777220 -w 1920 -h 1080 -f 0 -i input.nv12 -o output.h265

# 参数说明(mpi_enc_test -h 输出):
# -t     输出流编码类型(7/16777220/8/9)
# -f 0   输入格式 0=NV12
# -rc    码控模式 0:vbr 1:cbr 2:fixqp 3:avbr 4:smtrc
# -bps   目标:最小:最大 码率
# -w/-h  宽度/高度   -i/-o 输入/输出   -n 最大帧数

下面用 720p NV12 30 帧做 H.264 编码,再把编出的流回环解码,验证编解码一致性:

mpi_enc_test -t 7 -w 1280 -h 720 -f 0 -n 30 -i /var/tmp/test720.nv12 -o /var/tmp/out720.h264
mpp: chn 0 encoded frame 29  size 209550  qp 42  bps_rt 19423577  psnr 33.3447
mpp: chn 0 encode 30 frames time 182 ms delay 4 ms fps 164.52 bps 52481240
mpp: mpi_enc_test average frame rate 164.52
# 产物 6.5MB

# 回环:把刚编的流再硬解,验证编解码一致性
mpi_dec_test -t 7 -i /var/tmp/out720.h264
# mpp: decode 30 frames time 481 ms delay 38 ms fps 62.27
# mpp: test success max memory 3.52 MB

4.4 多路编解码

多路解码有两种做法:多进程并行,或者单进程多实例:

#!/bin/bash
# multi_decode.sh - 多路并行解码
STREAMS=("stream1.h265" "stream2.h265" "stream3.h265")
OUTPUTS=("out1.yuv" "out2.yuv" "out3.yuv")

for i in "${!STREAMS[@]}"; do
    mpi_dec_test -t 7 -i "${STREAMS[$i]}" -o "${OUTPUTS[$i]}" &
done
wait
echo "All decoding finished"

# 或者单进程多实例:-s 4 开 4 个解码实例
mpi_dec_test -t 7 -i /oem/200frames_count.h264 -n 200 -s 4
#  decode 200 frames time 70 ms delay 4 ms fps 2837.40
#       test success max memory 5.27 MB

4.5 ffmpeg 集成

ffmpeg -hide_banner -hwaccels
# 输出: vdpau cuda vaapi drm opencl     ← 没有 rkmpp
ffmpeg -encoders | grep rkmpp                # 无结果

出厂的 apt 版 ffmpeg 没有 rkmpp 支持,要用 ffmpeg+rkmpp 必须自编译(ffmpeg 源码 + rkmpp 补丁,参考 Rockchip ffmpeg-rk 仓库),工程量大。出厂镜像开箱即用的硬件编解码路径有两条:

  1. mpi_dec_test / mpi_enc_test(本文件 4.2/4.3,通过)
  2. GStreamer mpph264enc / mppvideodec(见下,通过)
# 自编译 rkmpp 版 ffmpeg 后可用:
ffmpeg -hwaccel rkmpp -i input.h265 -f rawvideo output.yuv
ffmpeg -f rawvideo -pix_fmt yuv420p -video_size 1920x1080 \
    -i input.yuv -c:v h264_rkmpp -b:v 10M output.h264

# 出厂可用的等价命令(GStreamer,720p×300 帧 1.03s ≈ 291FPS):
gst-launch-1.0 -e videotestsrc num-buffers=300 \
  ! video/x-raw,width=1280,height=720,format=NV12 \
  ! mpph264enc ! h264parse ! qtmux ! filesink location=out.mp4

4.6 视频转码

前提同 4.5:本节命令依赖自编译的 rkmpp 版 ffmpeg(apt 版没有 rkmpp)。出厂可用的替代方案是 GStreamer mpp 元件或 mpi_enc/dec_test。

# H.265 -> H.264 转码
ffmpeg -hwaccel rkmpp -i input.h265 -c:v h264_rkmpp -b:v 8M output.h264

# 4K -> 1080p 降分辨率转码
ffmpeg -hwaccel rkmpp -i input_4k.mp4 -vf scale=1920:1080 \
    -c:v h264_rkmpp -b:v 5M -c:a copy output_1080p.mp4

# 批量转码脚本
#!/bin/bash
for f in *.mp4; do
    ffmpeg -hwaccel rkmpp -i "$f" -c:v h264_rkmpp -b:v 8M -c:a copy "${f%.mp4}_h264.mp4"
done

4.7 Python 使用示例

这个类在出厂镜像上会立即抛出 RuntimeError: ffmpeg 未编译 rkmpp 支持(构造函数检查失败,apt 版 ffmpeg 无 rkmpp)。需先自编译 rkmpp 版 ffmpeg;_probe() 的 ffprobe 部分装 apt ffmpeg 后可用。

#!/usr/bin/env python3
"""RK3588 MPP 视频编解码 Python 封装"""
import subprocess
import os
import time
import json


class RK3588Codec:
    def __init__(self):
        result = subprocess.run(["ffmpeg", "-hwaccels"], capture_output=True, text=True)
        if "rkmpp" not in result.stdout:
            raise RuntimeError("ffmpeg 未编译 rkmpp 支持")
        print("rkmpp 硬件加速:已支持")

    def decode(self, input_file, output_file):
        """硬件解码视频文件"""
        cmd = ["ffmpeg", "-y", "-hwaccel", "rkmpp", "-i", input_file,
               "-f", "rawvideo", "-pix_fmt", "yuv420p", output_file]
        start = time.time()
        result = subprocess.run(cmd, capture_output=True, text=True)
        elapsed = time.time() - start
        if result.returncode != 0:
            raise RuntimeError(f"解码失败:\n{result.stderr}")
        info = self._probe(input_file)
        info["decode_time"] = elapsed
        return info

    def encode(self, input_yuv, output_file, width, height,
               codec="h264_rkmpp", bitrate="8M", fps=30):
        """硬件编码 YUV 数据"""
        cmd = ["ffmpeg", "-y", "-f", "rawvideo", "-pix_fmt", "yuv420p",
               "-video_size", f"{width}x{height}", "-framerate", str(fps),
               "-i", input_yuv, "-c:v", codec, "-b:v", bitrate, output_file]
        start = time.time()
        result = subprocess.run(cmd, capture_output=True, text=True)
        elapsed = time.time() - start
        if result.returncode != 0:
            raise RuntimeError(f"编码失败:\n{result.stderr}")
        return {"encode_time": elapsed, "file_size": os.path.getsize(output_file)}

    def transcode(self, input_file, output_file,
                  codec="h264_rkmpp", bitrate="8M", scale=None):
        """硬件转码视频文件"""
        cmd = ["ffmpeg", "-y", "-hwaccel", "rkmpp", "-i", input_file,
               "-c:v", codec, "-b:v", bitrate, "-c:a", "copy"]
        if scale:
            cmd.extend(["-vf", f"scale={scale[0]}:{scale[1]}"])
        cmd.append(output_file)
        start = time.time()
        result = subprocess.run(cmd, capture_output=True, text=True)
        elapsed = time.time() - start
        if result.returncode != 0:
            raise RuntimeError(f"转码失败:\n{result.stderr}")
        return {"transcode_time": elapsed}

    @staticmethod
    def _probe(filepath):
        cmd = ["ffprobe", "-v", "quiet", "-print_format", "json",
               "-show_format", "-show_streams", filepath]
        result = subprocess.run(cmd, capture_output=True, text=True)
        try:
            info = json.loads(result.stdout)
            for s in info.get("streams", []):
                if s.get("codec_type") == "video":
                    return {"width": s.get("width"), "height": s.get("height"),
                            "codec": s.get("codec_name")}
        except (json.JSONDecodeError, ValueError):
            pass
        return {}


if __name__ == "__main__":
    codec = RK3588Codec()
    print("=== 解码示例 ===")
    r = codec.decode("input.h265", "output.yuv")
    print(f"  {r.get('width')}x{r.get('height')}, 耗时: {r['decode_time']:.2f}s")

    print("=== 编码示例 ===")
    r = codec.encode("input.yuv", "output.h264", 1920, 1080)
    print(f"  耗时: {r['encode_time']:.2f}s, 大小: {r['file_size']/1024/1024:.1f}MB")

5. 代码详解

5.1 MPP API 详解

MPP 的 C API 围绕「上下文 + buffer」组织,先看创建解码器和编码器的两个初始化函数:

#include <rockchip/mpp.h>
#include <rockchip/mpp_mem.h>
#include <rockchip/mpp_buffer.h>

/* MPP 编解码上下文结构 */
typedef struct MppContext {
    MppApi          *mpp_api;
    MppCtx           ctx;
    MppBufferGroup   frm_grp;
    MppBufferGroup   pkt_grp;
    MppPacket        packet;
    MppFrame         frame;
} MppContext;

/* 创建并初始化解码器 */
int init_decoder(MppContext *mpp, MppVideoCodingType coding)
{
    MPP_RET ret;
    ret = mpp_create(&mpp->ctx, &mpp->mpp_api);
    if (ret != MPP_OK) return -1;

    ret = mpp_init(mpp->ctx, MPP_CTX_DEC, coding);
    if (ret != MPP_OK) return -1;

    ret = mpp_buffer_group_get_internal(&mpp->frm_grp, MPP_BUFFER_TYPE_ION);
    if (ret != MPP_OK) return -1;

    return 0;
}

/* 创建并初始化编码器 */
int init_encoder(MppContext *mpp, RK_U32 width, RK_U32 height,
                 RK_U32 fps, RK_U32 bps)
{
    MPP_RET ret;
    ret = mpp_create(&mpp->ctx, &mpp->mpp_api);
    if (ret != MPP_OK) return -1;

    ret = mpp_init(mpp->ctx, MPP_CTX_ENC, MPP_VIDEO_CodingAVC);
    if (ret != MPP_OK) return -1;

    /* 配置编码参数 */
    MppEncCfg cfg;
    mpp_enc_cfg_init(&cfg);
    mpp_enc_cfg_set_u32(cfg, "prep:width", width);
    mpp_enc_cfg_set_u32(cfg, "prep:height", height);
    mpp_enc_cfg_set_u32(cfg, "rc:bps_target", bps);
    mpp_enc_cfg_set_u32(cfg, "rc:bps_max", bps * 120 / 100);
    mpp_enc_cfg_set_u32(cfg, "rc:fps_in_num", fps);
    mpp_enc_cfg_set_u32(cfg, "rc:fps_out_num", fps);
    mpp_enc_cfg_set_u32(cfg, "rc:gop", fps * 2);

    ret = mpp->mpp_api->control(mpp->ctx, MPP_ENC_SET_CFG, cfg);
    mpp_enc_cfg_deinit(cfg);
    if (ret != MPP_OK) return -1;

    return 0;
}

5.2 解码流程

解码的核心是两步:把编码流打包送进解码器,再取回解码好的帧:

int decode_video(MppContext *mpp, uint8_t *data, size_t len)
{
    MPP_RET ret;

    /* 创建并设置输入包 */
    ret = mpp_packet_init(&mpp->packet, mpp->pkt_grp, len);
    if (ret != MPP_OK) return -1;
    mpp_packet_set_data(mpp->packet, data);
    mpp_packet_set_size(mpp->packet, len);
    mpp_packet_set_pos(mpp->packet, data);
    mpp_packet_set_eos(mpp->packet);

    /* 送入解码器 */
    ret = mpp->mpp_api->decode_put_packet(mpp->ctx, mpp->packet);
    if (ret != MPP_OK) return -1;

    /* 获取解码结果 */
    ret = mpp->mpp_api->decode_get_frame(mpp->ctx, &mpp->frame);
    if (ret != MPP_OK) return -1;

    if (mpp->frame) {
        RK_U32 w = mpp_frame_get_width(mpp->frame);
        RK_U32 h = mpp_frame_get_height(mpp->frame);
        MppBuffer buf = mpp_frame_get_buffer(mpp->frame);
        printf("Decoded: %dx%d, buf=%p\n", w, h, mpp_buffer_get_ptr(buf));
        mpp_frame_deinit(&mpp->frame);
    }
    return 0;
}

5.3 编码流程

编码与解码对称:送入 YUV 帧,取回编码后的码流包:

int encode_video(MppContext *mpp, uint8_t *yuv_data, size_t yuv_size,
                 FILE *output_file)
{
    MPP_RET ret;

    ret = mpp_frame_init(&mpp->frame);
    if (ret != MPP_OK) return -1;

    mpp_frame_set_fmt(mpp->frame, MPP_FMT_YUV420SP);
    mpp_frame_set_width(mpp->frame, 1920);
    mpp_frame_set_height(mpp->frame, 1080);
    mpp_frame_set_ver_stride(mpp->frame, 1080);
    mpp_frame_set_hor_stride(mpp->frame, 1920);

    MppBuffer buf;
    ret = mpp_buffer_get(mpp->frm_grp, &buf, yuv_size);
    if (ret != MPP_OK) return -1;

    memcpy(mpp_buffer_get_ptr(buf), yuv_data, yuv_size);
    mpp_frame_set_buffer(mpp->frame, buf);
    mpp_frame_set_eos(mpp->frame, 0);

    /* 送入编码器 */
    ret = mpp->mpp_api->encode_put_frame(mpp->ctx, mpp->frame);
    if (ret != MPP_OK) return -1;

    /* 获取编码包 */
    ret = mpp->mpp_api->encode_get_packet(mpp->ctx, &mpp->packet);
    if (ret != MPP_OK) return -1;

    if (mpp->packet) {
        void *pkt_data = mpp_packet_get_data(mpp->packet);
        size_t pkt_len = mpp_packet_get_length(mpp->packet);
        fwrite(pkt_data, 1, pkt_len, output_file);
        mpp_packet_deinit(&mpp->packet);
    }

    mpp_frame_deinit(&mpp->frame);
    mpp_buffer_put(buf);
    return 0;
}

5.4 MPP API 参考速查

API 函数功能
mpp_create()创建 MPP 实例
mpp_init()初始化编/解码上下文
mpp_destroy()销毁 MPP 实例
mpp_packet_init()初始化输入包
mpp_frame_init()初始化输出帧
decode_put_packet()送入编码数据(解码)
decode_get_frame()获取解码帧
encode_put_frame()送入 YUV 帧(编码)
encode_get_packet()获取编码后的码流包
control()控制操作(如设置编码参数、请求 I 帧)

编码类型常量:

常量值说明
MPP_VIDEO_CodingAVC1H.264
MPP_VIDEO_CodingHEVC2H.265
MPP_VIDEO_CodingVP94VP9
MPP_VIDEO_CodingAV16AV1

像素格式常量:

常量说明
MPP_FMT_YUV420SPNV12
MPP_FMT_YUV420PYUV420P (I420)
MPP_FMT_YUV422SPNV16
MPP_FMT_RGB888RGB888
MPP_FMT_RGBA8888RGBA8888

6. 常见问题

6.1 MPP 库加载失败

现象:error while loading shared libraries: librockchip_mpp.so

ls -la /usr/lib/librockchip_mpp*
ldconfig -p | grep rockchip
# 如果不存在,手动安装
sudo cp /path/to/librockchip_mpp.so* /usr/lib/
sudo ldconfig

6.2 解码输出异常(花屏/绿屏)

ffprobe -i test.h265                    # 检查文件完整性
./mpi_dec_test -t 2 -i test.h265 -o output.yuv -w 1920 -h 1080  # 指定分辨率

6.3 编码性能不足

sudo cpupower frequency-set -g performance    # CPU 性能模式
./mpi_enc_test -t 2 -w 1280 -h 720 -i input.yuv -o output.h265  # 降低分辨率
cat /sys/kernel/debug/clk/clk_summary | grep -i vdec    # 检查 VPU 时钟

6.4 多路解码内存不足

free -h                                         # 检查系统内存
cat /sys/kernel/debug/dma_buf/bufinfo           # 检查 DMA-BUF
cat /sys/kernel/debug/ion/heaps/system          # 检查 ION 分配
# 减少同时解码路数或降低分辨率

6.5 ffmpeg 硬件加速不生效

ffmpeg -hwaccels 2>&1 | grep rkmpp     # 检查 rkmpp 是否可用
ls -la /dev/mpp_service                # 检查 MPP 设备节点
ffmpeg -hwaccel rkmpp -i input.mp4 -f rawvideo output.yuv  # 明确指定

6.6 解码器初始化失败

lsmod | grep rkvdec2                   # 检查内核模块
sudo modprobe rkvdec2                  # 加载模块
cat /proc/device-tree/vpu@fe610000/status  # 检查设备树
dmesg | grep -i "rkvdec\|rkvenc"       # 查看内核日志
sudo chmod 666 /dev/video*             # 修复权限

7. 相关文档

文档名称路径说明
显示框架(DRM/KMS)../multimedia/ch01-display-framework.mdDRM 显示输出
音频开发与 ALSA../multimedia/ch04-audio-development-alsa.md音频采集与播放
RGA 图像处理../multimedia/ch05-rga-image-processing.md解码后格式转换与缩放
GStreamer 多媒体开发../application-development/ch04-gstreamer-multimedia-development.mdGStreamer 流水线与 MPP 集成
C/C++ 应用开发入门04_application-development/01_C-C++应用开发.md编译环境与基础开发
在 GitHub 上编辑此页
Prev
摄像头应用
Next
音频开发与ALSA