VPU 编解码

本章讲 RK182X 视频处理单元（VPU）硬件编解码能力、多路并发配置与解码器调优方法。

整体框图

码流输入
       ↓
┌─────────────────────────────┐
│       VPU Decoder Core       │
│  ┌─────┐ ┌─────┐ ┌─────┐   │
│  │Parse│→│Recon│→│Post │   │
│  │ BSP │ │ MC  │ │Proc │   │
│  └─────┘ └─────┘ └─────┘   │
└────────┬────────────────────┘
         │ YUV (NV12 / NV16)
         ↓
     RGA / NPU / Display
YUV 输入（NV12）
       ↓
┌─────────────────────────────┐
│      VPU Encoder Core       │
│  ┌──────┐ ┌──────┐ ┌──────┐ │
│  │ ME   │→│TQ+熵 │→│Rate  │ │
│  │运动估│ │变换量│ │Ctrl  │ │
│  │计    │ │化    │ │      │ │
│  └──────┘ └──────┘ └──────┘ │
└────────┬────────────────────┘
         │ H.264 / H.265 NALU
         ↓
     文件 / RTSP / RTP

VPU 是 Host SoC（如 RK3588）上的硬件视频编解码引擎，通过 MPP 框架调用。RK182X 协处理器本身不带 VPU，通过 PCIe 借助 Host VPU 工作。

1. VPU 硬件规格

能力解码编码
H.265 / HEVCMain / Main10 @ 4K60Main @ 4K30
H.264 / AVCHP / MP / BP @ 4K60HP / MP / BP @ 4K30
VP9Profile 0 / 2 @ 4K60—
AV1Main @ 4K60—
MJPEG@ 8K30—
最大并发路数4 路 1080p302 路 1080p30

2. 多路并发配置

为每路创建独立 MPP Context（dec0 / dec1 / ... / enc），VPU 硬件自动调度各路。

#include <rockchip/rk_mpi.h>
#include <rockchip/rk_mpi_cmd.h>
#include <rockchip/rk_vdec_cfg.h>

int main(void) {
    MppCtx   dec0 = NULL;
    MppApi  *mpi0 = NULL;
    MPP_RET  ret;

    // 创建 + 取 MppApi
    ret = mpp_create(&dec0, &mpi0);
    if (ret) return ret;

    // 顶层 mpp_init 初始化解码器
    ret = mpp_init(dec0, MPP_CTX_DEC, MPP_VIDEO_CodingAVC);
    if (ret) return ret;

    // 解码器 2-4 类似初始化（每路独立 ctx）
    MppCtx dec1, dec2, dec3;
    (void)dec1; (void)dec2; (void)dec3;

    // 编码器
    MppCtx enc = NULL;
    MppApi *mpi_enc = NULL;
    mpp_create(&enc, &mpi_enc);
    mpp_init(enc, MPP_CTX_ENC, MPP_VIDEO_CodingAVC);

    return 0;
}

3. 编译（RK3588 上直接编译）

aarch64-linux-gnu-gcc vpu_decode.c -o vpu_decode \
    -I/usr/include/rockchip \
    -L/usr/lib/aarch64-linux-gnu \
    -lrockchip_mpp

RK3588 上编译成功：librockchip_mpp 在 /usr/lib/aarch64-linux-gnu/librockchip_mpp.so，头文件在 /usr/include/rockchip/。

4. 低延迟解码配置

最接近的两个低延迟相关 API：

API作用
MPP_DEC_SET_PRESENT_TIME_ORDER按 input PTS 顺序输出（替代不存在的 DISABLE_REORDER）
MPP_DEC_SET_DISABLE_DPB_CHECK关闭 DPB 连续性检查
#include <rockchip/rk_mpi.h>
#include <rockchip/rk_mpi_cmd.h>
#include <rockchip/rk_vdec_cfg.h>

int main(void) {
    MppCtx ctx = NULL;
    MppApi *mpi = NULL;
    mpp_create(&ctx, &mpi);
    mpp_init(ctx, MPP_CTX_DEC, MPP_VIDEO_CodingAVC);

    // 以 input PTS 顺序输出
    mpi->control(ctx, MPP_DEC_SET_PRESENT_TIME_ORDER, (MppParam)1);

    // 关闭 DPB 连续性检查
    mpi->control(ctx, MPP_DEC_SET_DISABLE_DPB_CHECK, (MppParam)1);

    // 缩小解码缓冲：走 cfg key 写法
    MppDecCfg dec_cfg = NULL;
    mpp_dec_cfg_init(&dec_cfg);
    mpp_dec_cfg_set_s32(dec_cfg, "decoder:num_buffers", 4);
    mpi->control(ctx, MPP_DEC_SET_CFG, dec_cfg);

    mpp_destroy(ctx);
    mpp_dec_cfg_deinit(dec_cfg);
    return 0;
}

5. 码流错误处理

错误处理可用的接口：

API作用
mpp_frame_get_errinfo(frame)取每帧 error info（RK_U32 bit 字段）
MPP_DEC_SET_DISABLE_ERROR禁用 H.264 / H.265 错误检测
MPP_DEC_SET_DIS_ERR_CLR_MARK错误处理相关 cmd
#include <rockchip/rk_mpi.h>
#include <rockchip/mpp_frame.h>

/* 解码循环里 */
for (;;) {
    MppFrame frame = NULL;
    ret = mpi->decode_get_frame(ctx, &frame);
    if (ret != MPP_OK || !frame) break;

    // 检查帧错误
    RK_U32 err = mpp_frame_get_errinfo(frame);
    if (err) {
        printf("WARNING: frame error info = 0x%x\n", err);
        mpp_frame_deinit(&frame);
        continue;
    }

    // 正常处理
    mpp_frame_deinit(&frame);
}

6. MPP 解码器 API 验证

MPP 解码器控制命令：

grep -n "MPP_DEC_SET_PRESENT_TIME_ORDER\|MPP_DEC_SET_DISABLE_DPB_CHECK\|MPP_DEC_SET_CFG\|MPP_DEC_SET_DISABLE_ERROR\|MPP_DEC_SET_DIS_ERR_CLR_MARK" /usr/include/rockchip/rk_mpi_cmd.h

输出：

100:    MPP_DEC_SET_PRESENT_TIME_ORDER,     /* use input time order for output */
107:    MPP_DEC_SET_DISABLE_ERROR,          /* When set it will disable sw/hw error (H.264 / H.265) */
115:    MPP_DEC_SET_DISABLE_DPB_CHECK,      /* disable dpb discontinuous check */
117:    MPP_DEC_SET_DIS_ERR_CLR_MARK,
124:    MPP_DEC_SET_CFG,                    /* set MppDecCfg structure */

MPP 解码器控制命令验证：

  • MPP_DEC_SET_PRESENT_TIME_ORDER (rk_mpi_cmd.h:100)：按 input PTS 顺序输出
  • MPP_DEC_SET_DISABLE_ERROR (rk_mpi_cmd.h:107)：禁用 sw/hw 错误检测
  • MPP_DEC_SET_DISABLE_DPB_CHECK (rk_mpi_cmd.h:115)：禁用 DPB 连续性检查
  • MPP_DEC_SET_DIS_ERR_CLR_MARK (rk_mpi_cmd.h:117)：错误清除标记
  • MPP_DEC_SET_CFG (rk_mpi_cmd.h:124)：设置 MppDecCfg 结构

MPP 解码器命令完整列表（部分）：

sed -n '95,125p' /usr/include/rockchip/rk_mpi_cmd.h

输出：

    MPP_DEC_SET_FRAME_INFO,             /* vpu api legacy control for buffer slot dimension init */
    MPP_DEC_SET_EXT_BUF_GROUP,          /* IMPORTANT: set external buffer group to mpp decoder */
    MPP_DEC_SET_INFO_CHANGE_READY,
    MPP_DEC_SET_PRESENT_TIME_ORDER,     /* use input time order for output */
    MPP_DEC_SET_PARSER_SPLIT_MODE,      /* Need to setup before init */
    MPP_DEC_SET_PARSER_FAST_MODE,       /* Need to setup before init */
    MPP_DEC_GET_STREAM_COUNT,
    MPP_DEC_GET_VPUMEM_USED_COUNT,
    MPP_DEC_SET_VC1_EXTRA_DATA,
    MPP_DEC_SET_OUTPUT_FORMAT,
    MPP_DEC_SET_DISABLE_ERROR,          /* When set it will disable sw/hw error (H.264 / H.265) */
    MPP_DEC_SET_IMMEDIATE_OUT,
    MPP_DEC_SET_ENABLE_DEINTERLACE,     /* MPP enable deinterlace by default. Vpuapi can disable it */
    MPP_DEC_SET_ENABLE_FAST_PLAY,       /* enable idr output immediately */
    MPP_DEC_SET_DISABLE_THREAD,         /* MPP no thread mode and use external thread to decode */
    MPP_DEC_SET_MAX_USE_BUFFER_SIZE,
    MPP_DEC_SET_ENABLE_MVC,             /* enable MVC decoding*/
    MPP_DEC_GET_THUMBNAIL_FRAME_INFO,   /* update thumbnail frame info to user, for MPP_FRAME_THUMBNAIL_ONLY mode */
    MPP_DEC_SET_DISABLE_DPB_CHECK,      /* disable dpb discontinuous check */
    MPP_DEC_SET_CODEC_MODE,             /* select codec mode */
    MPP_DEC_SET_DIS_ERR_CLR_MARK,

mpp_dec_cfg_* API 函数声明：

grep -n "mpp_dec_cfg_init\|mpp_dec_cfg_deinit\|mpp_dec_cfg_set_s32" /usr/include/rockchip/rk_vdec_cfg.h

输出：

29:MPP_RET mpp_dec_cfg_init(MppDecCfg *cfg);
30:MPP_RET mpp_dec_cfg_deinit(MppDecCfg cfg);
32:MPP_RET mpp_dec_cfg_set_s32(MppDecCfg cfg, const char *name, RK_S32 val);

rk_vdec_cfg.h 完整 API 列表：

sed -n '27,48p' /usr/include/rockchip/rk_vdec_cfg.h

输出：

MPP_RET mpp_dec_cfg_init(MppDecCfg *cfg);
MPP_RET mpp_dec_cfg_deinit(MppDecCfg cfg);

MPP_RET mpp_dec_cfg_set_s32(MppDecCfg cfg, const char *name, RK_S32 val);
MPP_RET mpp_dec_cfg_set_u32(MppDecCfg cfg, const char *name, RK_U32 val);
MPP_RET mpp_dec_cfg_set_s64(MppDecCfg cfg, const char *name, RK_S64 val);
MPP_RET mpp_dec_cfg_set_u64(MppDecCfg cfg, const char *name, RK_U64 val);
MPP_RET mpp_dec_cfg_set_ptr(MppDecCfg cfg, const char *name, void *val);

MPP_RET mpp_dec_cfg_get_s32(MppDecCfg cfg, const char *name, RK_S32 *val);
MPP_RET mpp_dec_cfg_get_u32(MppDecCfg cfg, const char *name, RK_U32 *val);
MPP_RET mpp_dec_cfg_get_s64(MppDecCfg cfg, const char *name, RK_S64 *val);
MPP_RET mpp_dec_cfg_get_u64(MppDecCfg cfg, const char *name, RK_U64 *val);
MPP_RET mpp_dec_cfg_get_ptr(MppDecCfg cfg, const char *name, void **val);

void mpp_dec_cfg_show(void);

mpp_frame_get_errinfo 函数：

grep -n "mpp_frame_get_errinfo" /usr/include/rockchip/mpp_frame.h

输出：

420:RK_U32  mpp_frame_get_errinfo(const MppFrame frame);

mpp_frame_get_errinfo 上下文：

sed -n '417,425p' /usr/include/rockchip/mpp_frame.h

输出：

RK_S64  mpp_frame_get_dts(const MppFrame frame);
void    mpp_frame_set_dts(MppFrame frame, RK_S64 dts);
RK_U32  mpp_frame_get_errinfo(const MppFrame frame);
void    mpp_frame_set_errinfo(MppFrame frame, RK_U32 errinfo);
size_t  mpp_frame_get_buf_size(const MppFrame frame);
void    mpp_frame_set_buf_size(MppFrame frame, size_t buf_size);
void    mpp_frame_set_thumbnail_en(MppFrame frame, RK_U32 thumbnail_en);
RK_U32  mpp_frame_get_thumbnail_en(const MppFrame frame);

mpp_frame_get_errinfo 验证（mpp_frame.h:420）：返回 RK_U32 错误信息位字段。

7. H.264 编码实现

7.1 初始化与配置

#include <stdio.h>
#include <rockchip/mpp_buffer.h>
#include <rockchip/mpp_frame.h>
#include <rockchip/mpp_packet.h>
#include <rockchip/rk_mpi.h>
#include <rockchip/rk_mpi_cmd.h>   /* MPP_ENC_SET_CFG */
#include <rockchip/rk_venc_cfg.h>  /* mpp_enc_cfg_* */
#include <rockchip/rk_venc_rc.h>   /* MPP_ENC_RC_MODE_* */

int main(void) {
    MPP_RET  ret;
    MppCtx   ctx = NULL;
    MppApi  *mpi = NULL;

    ret = mpp_create(&ctx, &mpi);
    if (ret) return ret;
    ret = mpp_init(ctx, MPP_CTX_ENC, MPP_VIDEO_CodingAVC);
    if (ret) return ret;

    MppEncCfg cfg = NULL;
    mpp_enc_cfg_init(&cfg);
    mpp_enc_cfg_set_s32(cfg, "prep:width",      1920);
    mpp_enc_cfg_set_s32(cfg, "prep:height",     1080);
    mpp_enc_cfg_set_s32(cfg, "prep:format",     MPP_FMT_YUV420SP);
    mpp_enc_cfg_set_s32(cfg, "rc:mode",         MPP_ENC_RC_MODE_CBR);
    mpp_enc_cfg_set_s32(cfg, "rc:bps_target",   4000000);
    mpp_enc_cfg_set_s32(cfg, "rc:fps_in",       30);

    // 实际控制命令是 MPP_ENC_SET_CFG (rk_mpi_cmd.h)
    ret = mpi->control(ctx, MPP_ENC_SET_CFG, cfg);
    if (ret) return ret;

    mpp_destroy(ctx);
    mpp_enc_cfg_deinit(cfg);
    return MPP_OK;
}

7.2 编码循环

MppFrame  frame  = NULL;
MppPacket packet = NULL;

while (has_input) {
    // put_frame / get_packet 是 MppApi 成员，不是顶层函数
    ret = mpi->encode_put_frame(ctx, frame);
    if (ret) break;

    ret = mpi->encode_get_packet(ctx, &packet);
    if (ret == MPP_OK && packet) {
        write_output(mpp_packet_get_data(packet),
                     mpp_packet_get_length(packet));
        mpp_packet_deinit(&packet);
        packet = NULL;
    }
}

mpp_frame_deinit(&frame);

7.3 多路性能注意事项

  • 总带宽受 DDR 带宽限制
  • 建议每路码率 × 路数 ≤ DDR 可用带宽 × 0.7
  • 编码格式混用（如 2 路 H.264 + 2 路 H.265）会增加调度开销

8. MPP 编码器 API 验证

MPP 编码控制 API 定义：

grep -E "MPP_ENC_SET_CFG|MPP_ENC_RC_MODE" /usr/include/rockchip/rk_mpi_cmd.h | head -5

输出：

    MPP_ENC_SET_CFG,                    /* set MppEncCfg structure */
    MPP_ENC_SET_PREP_CFG,               /* deprecated set MppEncPrepCfg structure, use MPP_ENC_SET_CFG instead */
    MPP_ENC_SET_RC_CFG,                 /* deprecated set MppEncRcCfg structure, use MPP_ENC_SET_CFG instead */
    MPP_ENC_SET_CODEC_CFG,              /* deprecated set MppEncCodecCfg structure, use MPP_ENC_SET_CFG instead */

MPP 编码速率控制模式常量：

grep -E "MPP_ENC_RC_MODE" /usr/include/rockchip/rk_venc_rc.h | head -10

输出：

    MPP_ENC_RC_MODE_VBR,
    MPP_ENC_RC_MODE_CBR,
    MPP_ENC_RC_MODE_FIXQP,
    MPP_ENC_RC_MODE_AVBR,
    MPP_ENC_RC_MODE_SMTRC,
    MPP_ENC_RC_MODE_SE,
    MPP_ENC_RC_MODE_BUTT

MPP 视频编码格式常量：

grep -E "MPP_VIDEO_CodingAVC|MPP_VIDEO_CodingHEVC|MPP_VIDEO_CodingVP9|MPP_VIDEO_CodingJPEG" /usr/include/rockchip/rk_type.h | head -10

输出：

    MPP_VIDEO_CodingAVC,                /**< H.264/AVC */
    MPP_VIDEO_CodingVP9,                /**< VP9 */
    MPP_VIDEO_CodingHEVC,               /**< H.265/HEVC */

VPU 设备节点：

ls /dev/mpp_service /dev/vpu_service 2>/dev/null

输出：

ls: 无法访问 '/dev/vpu_service': 没有那个文件或目录
/dev/mpp_service

只有 mpp_service 节点存在，没有 vpu_service 节点。

9. 常见问题

现象原因处理
mpp_create failed库路径 / 权限ls -l /dev/mpp_service
mpp_init failedcoding type 不支持确认 MPP_VIDEO_CodingAVC/HEVC/VP9/AV1
多路解码不稳DDR 带宽不够减路数 / 降码率
MPP_DEC_SET_DISABLE_REORDER 不存在该常量已废弃改用 MPP_DEC_SET_PRESENT_TIME_ORDER
mpp_frame_get_errinfo 报非零码流错误设 MPP_DEC_SET_DISABLE_ERROR 容忍
编码延迟高B 帧 / GOP 大rc:gop=0 + CBR

10. 下一步