瑞芯微RV1109高性能机器视觉处理器全面解析

sunsili

瑞芯微RV1109高性能机器视觉处理器全面解析

瑞芯微RV1109是一款用于工控机或人工智能视觉应用的高性能机器视觉处理器的SoC。它基于双核的ARM Cortex-A7 32位内核，集成了NEON和FPU。每个核心有一个32KB的我-cache和32KB的D-cache和512KB的统一L2缓存。内置的NPU支持INT8/INT16混合操作，计算能力可达1.2TOPs。此外，基于TensorFlow/MXNet/PyTorch/Caffe等精密框架的网络模型已经很不错了强的一个，可以方便地进行转换。

RV1109还引入了更先进的基于硬件的5000万像素ISP（图像信号处理器）和后处理器。实现了IPC和CVR中常用的加速算法，如HDR、3A函数（AE、AF、AWB）、LSC所有这些都是实时处理的。通过两个 MIPI CSI（或 LVDS/subvds）和一个 DVP（BT.61/BT. 6BT.1120），接口用户可以同时接收来自3个接口用户的视频数据的系统。

RV1109中嵌入的视频编码器支持5M  H.265 / H.264编码。支持多流编码，最高可支持一个5M30FPS和一个720P30同时进行。 RV1109的H.264/H.265视频解码器支持5M的H.264和H.265。 RV1109 具有高性能的外部DRAM（DDR3/DDR3L/DDR4/LPDDR3/LPDDR4），能够维持高要求的内存消耗。

特征

下面的某些特定特性可能会受到许可要求的否定。

应用处理器

• 双核 Cortex-A7
• 全面实现ARM架构v7-A指令集，ARM Neon Advanced SIMD
• 独立集成的霓虹灯和 FPU
• 每个 Cortex-A7 CPU 32KB L1 I-Cache 和 32KB L1 D-Cache
• 用于双核 Cortex-A7 的统一 512KB L2 缓存
• 支持 TrustZone 技术
• CPU核心系统独立电源域，支持根据不同应用场景进行内部电源开关和外部开启/关闭
  
  
  • PD_CPU0：第一个 Cortex-A7 + Neon + FPU + L1 I/D 缓存
  • PD_CPU1：第二个 Cortex-A7 + Neon + FPU + L1 I/D 缓存
    
    
• 一个支持 DVFS 的隔离电压域
  
  

视频输入接口

• 接口和视频输入处理器
  
  
  • 两个 MIPI CSI/LVDS/SubLVDS 接口，每个 4 个通道，每个通道 1Gbps
  • 1个8/10/12/16位标准DVP接口，最高150MHz输入数据
  • 支持601/BT.656和BT.1120 VI接口
  • 支持pixel_clk、hsync、vsync的极性可配置
    
    
• 互联网服务供应商
  
  
  • 最大分辨率为 500 万像素
  • DVP 输入：ITU-R 601/656/1120 with raw8/raw10/raw12/raw16, YUV422
    
    
• MIPI输入：RX数据通道x1/x2/x4、raw8/raw10/raw12、YUV422
• 3A：包括AE/Histogram、AF、AWB统计输出
• FPN：固定模式噪声去除
• BLC：黑电平校正
• DPCC：静态/动态缺陷像素簇校正
• LSC：镜头阴影校正
• Bayer-NR：Bayer-raw 降噪，2DNR
• HDR：3-/2-帧合并到高动态范围
• TMO：3-/2-Frame 合并视频色调映射
• WDR：一帧宽动态范围色调映射
• Debayer：具有色差校正功能的高级自适应去马赛克
• CCM/CSM：色彩校正矩阵；RGB2YUV
• Gamma：Gamma 输出校正
• 去雾/增强：自动去雾和边缘增强
• 3DLUT：客户的 3D-Lut 调色板
• LDCH：水平方向的镜头畸变
• 输出缩放*3：支持缩放级别*3（W0<3264；W1<1280；W2<1280）
• 输出缩放*2：支持缩放级别*2(W0<1920; W1<1920)
• 输出 (FBC)：支持 YUV422/420 帧缓冲压缩
• 3DNR：YUV 中的高级时间降噪
• 2DNR：YUV 中的高级空间降噪
• Sharp：YUV 中的图像锐化和边缘增强
• ORB：Oriented Fast and Rotated Brief，一种特征点检测方法
• FEC：更大的镜头失真和鱼眼校正
• CGC：色域压缩，YUV全范围/极限范围转换
  
  

视频编解码器

• 视频解码器
  
  
  • H.264 和 265 的实时解码
  • H.265 的 Main 和 Main10 配置文件，最大 3072 像素宽
    
    
• 视频编码器
  
  
  • 实时 H.265/H.264 视频编码
  • I-/P-帧和SmartP
  • 五种比特率控制模式（CBR、VBR、FixQp、AVBR 和 QpMap）
  • 高达 100 Mbit/s 的输出比特率
  • 支持ROI（无限制）编码；
  • 支持多码流编解码
    
    

Ø 3072 x 1728@30 fps+1280 x 720@30 fps

Ø 2688 x 1520@30 fps+1280 x 720@30 fps

Ø 2688 x 1944@30 fps+1280 x 720@30fps

Ø 2688 x 1944@30 编码 + 2688 x 1944@30 fps 解码

• 输入数据格式：
  
  
  • YCbCr 4:2:0 平面
  • YCbCr 4:2:0 半平面
  • YCbYCr 4:2:2
  • CbYCrY 4:2:2 交错
  • RGB444 和 BGR444
  • RGB555 和 BGR555
  • RGB565 和 BGR565
  • RGB888 和 BRG888
    
    

Ø RGB101010和BRG101010

• 一个支持 DVFS 的隔离电压域
  
  

JPEG 编解码器

• JPEG 编码器
  
  
  • 基线（DCT 顺序）
  • 编码器尺寸从96×96到8192×8192（67Mpixels）
    
    
• 每秒高达 9000 万像素
• JPEG解码器
  
  
  • 解码器尺寸从48×48到8176×8176（66.8Mpixels）
  • 每秒高达 7600 万像素
    
    

神经处理单元

• 处理性能高达1.2 TOPS的神经网络加速引擎
• 支持整数8、整数16的卷积运算
• 支持深度学习框架：TensorFlow、TF-lite、Pytorch、Caffe、ONNX、MXNet、Keras、Darknet
• 支持 OpenVX API
• 一个支持 DVFS 的隔离电压域
  
  

记忆组织

• 内部片上存储器
  
  
  • 启动盘
  • VD_LOGIC 电压域中的SYSTEM_SRAM
  • VD_PMU 电压域中的 PMU_SRAM 用于低功耗应用
    
    
• 外部片外存储器
  
  
  • DDR3/DDR3L/DDR4/LPDDR3/LPDDR4 ①
  • SPI闪存
  • eMMC
  • SD卡
  • 异步 Nand Flash
    
    

内部存储器

• 内部 BootRom
  
  
  • 支持从以下设备启动系统：
    
    
• FSPI 闪存接口
• eMMC接口
• SDMMC接口
• 异步 Nand 接口
  
  
  • 支持通过以下界面下载系统代码：
    
    
• USB OTG接口（设备模式）
• 系统_SRAM
  
  
  • 大小：64KB
    
    
• PMU_SRAM
  
  
  • 大小：8KB
    
    

外部存储器或存储设备

• 动态内存接口（DDR3/DDR3L/DDR4/LPDDR3/LPDDR4）
  
  
  • 符合 JEDEC 标准
  • 兼容DDR3/DDR3L/DDR4/LPDDR3/LPDDR4
  • 支持 32 位数据宽度，2 列（片选），每列最大 4GB 寻址空间，总寻址空间为 4GB（最大）
  • 低功耗模式，例如 SDRAM 的掉电和自刷新
    
    
• eMMC接口
  
  
  • 兼容标准 iNAND 接口
  • 兼容 eMMC 规范 51
  • 支持三种数据总线宽度：1-bit、4-bit或8-bit
  • 最高支持HS200；但不支持 CMD 队列
    
    
• SD/MMC 接口
  
  
  • 兼容 SD3.0、MMC 51
  • 数据总线宽度为 4bits
    
    
• 灵活的串行闪存接口 (FSPI)
  
  
  • 支持从/到串行闪存设备传输数据
  • 支持x1、x2、x4数据位模式
    
    
• 支持2芯片选择
• NAND闪存接口
  
  
  • 支持异步NAND闪存
  • 数据总线宽度为8bits
  • 支持1个片选
  • 支持 LBA NAND 闪存
  • 高达 16 位/1KB 硬件 ECC
  • 支持可配置接口时序
    
    

系统组件

• RISC-V 单片机
  
  
  • 具有 RISC-V ISA 的 32 位微控制器内核
  • 哈佛架构，独立的指令和数据存储器
    
    

指令集为带有 M 和 C 扩展的 RV32I

• 集成可编程中断控制器 (IPIC)，所有 123 条 IRQ 线连接到 Cortex-A7 的 GIC 也连接到 RISC-V MCU
• 带有 JTAG 接口的集成调试控制器
  
  

• CRU（时钟和复位单元）
  
  
  • 支持单个组件的时钟门控控制
  • 一个具有 24MHz 时钟输入的振荡器
  • 支持全芯片全局软复位控制，也支持每个元件单独软复位
    
    
• PMU（电源管理单元）
  
  
  • 支持5个独立的电压域VD_CORE/VD_LOGIC/VD_PMU/VD_NPU/VD_VEPU
  • 支持14个独立的电源域，可根据不同的应用场景通过软件进行上/下电
  • 多种可配置的工作模式，通过不同频率或自动时钟门控或电源域开/关控制来省电
    
    
• 定时器
  
  
  • 支持 6 个 64 位定时器，为非安全应用提供基于中断的操作
  • 支持 2 个 64 位定时器，具有基于中断的操作以确保安全应用
  • 支持自由运行和自定义计数两种操作模式
  • 支持定时器工作状态可查看
    
    
• 脉宽调制
  
  
  • 支持 12 个基于中断操作的片上 PWM (PWM0~PWM11)
  • 对总线时钟的可编程预缩放操作，然后进一步缩放
  • 嵌入式 32 位定时器/计数器功能
  • 支持抓拍模式
  • 支持连拍模式或单拍模式
  • 提供参考模式并输出各种占空比波形
  • 针对 PWM3、PWM7 和 PWM11 的 IR 应用进行了优化
    
    
• 看门狗
  
  
  • 32位看门狗计数器
  • 计数器从预设值倒计时到 0 表示超时发生
  • 当超时发生时，WDT 可以执行两种类型的操作：
    
    
• 生成系统重置
• 首先产生一个中断，如果在第二次超时发生时服务程序没有清除它，则产生一个系统复位
  
  
  • 可编程复位脉冲长度
  • 主超时周期共16个定义范围
  • 一个用于非安全应用程序的看门狗
  • 一个用于安全应用的看门狗
    
    
• 中断控制器
  
  
  • 支持来自不同组件的128个SPI中断源输入
  • 支持16个软件触发中断
    
    
• 每个 Cortex-A7 分别有两个中断输出（nFIQ 和 nIRQ），都是低电平敏感的
• 每个中断源支持不同的中断优先级，并且它们始终是软件可编程的
• DMAC
  
  
  • 基于微码编程的DMA
  • 支持链表DMA功能，完成scatter-gather传输
  • 支持内存到内存、内存到外设、外设到内存的数据传输类型
  • 使用中断输出信号指示各种 DMA 事件的发生
  • 1 个用于系统的嵌入式 DMA 控制器
  • DMAC 特点：
    
    
• 支持8通道
• 来自外设的 27 个硬件请求
• 2个中断输出
• 支持 TrustZone 技术和每个 DMA 通道的可编程安全状态
• 安全系统
  
  
  • 密码引擎
    
    
• 支持SM2/SM3/SM4密码
• 支持 SHA-1、SHA-256/224、SHA-512/384、MD5 硬件填充
• 支持链接列表项 (LLI) DMA 传输
• 支持AES-128 AES-256加解密密码
• 支持AES ECB/CBC/OFB/CFB/CTR/CTS/XTS模式
• 支持DES & TDES加解密密码
• 支持DES/TDES ECB/CBC/OFB/CFB模式
• 支持高达 4096 位的 RSA/ECC 的 PKA 数学运算
• 最多支持8通道配置
• 支持高达 256 位 TRNG 输出
  
  
  • 支持所有DDR类型的数据加扰
  • 支持安全OTP
  • 支持安全调试
  • 支持安全操作系统
    
    
• 邮箱
  
  
  • SoC 中的一个邮箱用于为 A7 和 RISC-V 通信提供服务
  • 每个邮箱支持四个邮箱元素，每个元素包括一个数据字、一个命令字寄存器和一个可以代表一个中断的标志位
  • 提供32个锁定寄存器供软件用来指示邮箱是否被占用
    
    
• 德康
  
  
  • 支持解压 GZIP 文件
  • 支持解压 LZ4 文件，包括 LZ4 Frame 格式的 General Structure 和 Legacy Frame
  • 支持以 Deflate 格式解压缩数据
  • 支持以 ZLIB 格式解压缩数据
  • 支持完整中断和错误中断输出
  • LZ4解压过程支持Hash32校验
  • 支持解压数据的限制大小功能，防止解压过程中内存被恶意破坏
  • 支持软件停止解压过程
    
    

图形引擎

• 2D 图形引擎 (RGA)：
  
  
  • 源格式：
    
    

u ABGR8888、XBGR888、ARGB8888、XRGB888

u RGB888、RGB565

u RGBA5551、RGBA4444

• YUV420平面、YUV420半平面
• YUV422平面、YUV422半平面
• YUV420/422 半平面的 YUV 10 位
• BPP8、BPP4、BPP2、BPP1
  
  
  • 目的地格式：
    
    

u ABGR8888、XBGR888、ARGB8888、XRGB888

u RGB888、RGB565

u RGBA5551、RGBA4444

• YUV420平面、YUV420半平面
• YUV422平面、YUV422半平面
  
  
  • 像素格式转换，601/BT.709
  • 最大分辨率：8192×8192 源、4096×4096 目标
  • 比特BLT
    
    
• 两个源BitBLT：
• A+B=B 仅 BitBLT，A 支持 B 固定时旋转和缩放
• A+B=C 第二个源（B）与（C）具有相同的属性加上旋转功能
  
  
  • 带有渐变填充和图案填充的颜色填充
  • 高性能拉伸和收缩
  • 用于文本渲染的单色扩展
  • 新的全面的每像素 alpha（单独的颜色/alpha 通道）
  • Alpha 混合模式，包括 Java 2 Porter-Duff 合成混合规则、色度键、图案蒙版、淡入淡出
  • 抖动操作
  • 0、90、180、270度旋转
  • x-mirror, y-mirror 和旋转操作
    
    
• 图像增强处理器 (IEP)：
  
  
  • 图像格式
    
    
• 输入数据：YUV420/YUV422，半平面/平面，UV交换
• 输出数据：YUV420/YUV422，半平面，UV交换，平铺模式
• YUV下采样从422到420的转换
• 动态图像最大分辨率可达 1920×1080
  
  
  • 去隔行
    
    

显示界面

• 1 个高达 24 位的 RGB 并行视频输出接口
• 1个1120视频输出接口
• 一个 4 通道 MIPI DSI 接口，每通道高达 1Gbps
• 高达 1080p@60fps
  
  

视频输出处理器 (VOP)

n 高达 1920×1080 @60fps

• 多层
  
  
  • 背景层
  • Win0层
  • Win2层
    
    
• 输入格式：RGB888、ARGB888、RGB565、YCbCr422、YCbCr420、YCbCr444
• 1/8 到 8 的缩小和放大引擎
• 支持虚拟显示
• 256 级 alpha 混合（预乘 alpha 支持）
• 透明色键
• YCbCr2RGB (rec601-mpeg/rec601-jpeg/rec709)
• RGB2YCbCr (BT.601/BT.709)
• 支持多区域
• Win0层和Win2层叠加可互换
• 支持RGB或YUV域叠加
• BCSH（亮度、对比度、饱和度、色调调整）
• BCSH: YCbCr2RGB (rec601-mpeg/rec601-jpeg/rec709)
• BCSH：RGB2YCbCr (BT.601/BT.709)
• 支持 Gamma 调整
• 支持向下抖动快板 RGB888to666 RGB888to565 & 向下抖动 FRC（可配置）RGB888to666
• 空白和黑色显示
  
  

音频接口

• I2S0 8 通道
  
  
  • 多达 8 通道 TX 和 8 通道 RX 路径
  • 音频分辨率从 16 位到 32 位
  • 采样率高达 192KHz
  • 提供主从工作模式，软件可配置
  • 支持3种I2S格式（普通、左对齐、右对齐）
  • 支持 4 种 PCM 格式（early、late1、late2、late3）
  • I2S和PCM模式不能同时使用
    
    
• 带 2 个通道的 I2S1/I2S2
  
  
  • 最多 2 个通道用于 TX 和 2 个通道 RX 路径
  • 音频分辨率从 16 位到 32 位
  • 采样率高达 192KHz
  • 提供主从工作模式，软件可配置
  • 支持3种I2S格式（普通、左对齐、右对齐）
  • 支持 4 种 PCM 格式（early、late1、late2、late3）
  • I2S和PCM不能同时使用
    
    
• PDM
  
  
  • 多达 8 个通道
  • 音频分辨率从 16 位到 24 位
  • 采样率高达 192KHz
  • 支持PDM主接收模式
    
    
• 时分复用
  
  
  • 最多支持 8 通道 TX 和 8 通道 RX 路径
  • 音频分辨率从 16 位到 32 位
  • 采样率高达 192KHz
  • 提供主从工作模式，软件可配置
  • 支持3种I2S格式（普通、左对齐、右对齐）
  • 支持 4 种 PCM 格式（early、late1、late2、late3）
    
    
• 音频脉宽调制
  
  
  • 支持将PCM格式转换为PWM格式
  • 采样率高达 16 倍
  • 支持 2x/4x/8x/16 过采样的线性插值
  • 支持8/9/10/11位可屏蔽L/R通道PWM输出
    
    
• 数字音频编解码器
  
  
  • 支持3路数字ADC
  • 支持2通道数字DAC
  • 支持I2S/PCM接口
  • 支持I2S/PCM主从模式
  • 支持I2S模式下4路音频传输
  • 支持I2S模式下2路音频接收
  • 支持 PCM 模式下的 2 路音频发送或接收
  • 数字ADC和数字DAC均支持16~24位采样分辨率
  • 数字 ADC 和数字 DAC 都支持三组采样率。第 0 组为 8khz/16khz/32kHz/64kHz/128khz，第 1 组为 11.025khz/22.05khz/44.1khz/88.2khz/176.4khz，第 2 组为 12khz/24khz/48khz/96khz/
  • 数字ADC滤波器的通带为45625*fs
  • 支持+/-0.1dB以内的数字ADC通带纹波
    
    
• 数字ADC滤波器的阻带为5*fs
• 支持数字ADC阻带衰减至少60dB
• 支持数字ADC和数字DAC的音量控制
• 支持数字 ADC 的自动电平控制 (ALC) 和噪声门
• 支持通过 I2C 总线与模拟编解码器通信
  
  

连通性

• SDIO接口
  
  
  • 兼容SDIO3.0协议
  • 4位数据总线宽度
    
    
• GMAC 10/100/1000M 以太网控制器
  
  
  • 通过 RGMII 接口支持 10/100/1000-Mbps 数据传输速率
  • 通过 RMII 接口支持 10/100-Mbps 数据传输速率
  • 支持全双工和半双工操作
  • 支持 TCP 分段卸载 (TSO) 和 UDP 分段卸载 (USO) 网络加速
    
    
• USB 2.0 主机
  
  
  • 兼容 USB 2.0 规范
  • 支持高速（480Mbps）、全速（12Mbps）和低速（1.5Mbps）模式
  • 支持增强型主机控制器接口规范 (EHCI)，修订版 0
  • 支持开放主机控制器接口规范 (OHCI)，修订版 0a
    
    
• USB 2.0 OTG
  
  
  • 通用串行总线规范，修订版 0
  • 通用串行总线 (xHCI) 的可扩展主机控制器接口，修订版 1.1
  • 兼容规格
  • 支持控制/批量/中断/同步传输
    
    
• SPI接口
  
  
  • 支持2个SPI控制器，支持2个片选输出
  • 支持串口-主、串口-从模式，软件可配置
    
    
• I2C接口
  
  
  • 支持6个I2C接口(I2C0-I2C5)
  • 支持7bits和10bits地址模式
  • 软件可编程时钟频率
  • I2C 总线上的数据可以以高达 100k 位/秒的速率传输
    
    

标准模式，在快速模式中高达 400k bits/s 或在 Fast-mode Plus 中高达 1m bits/s

• UART接口
  
  
  • 支持6个UART接口（UART0-UART5）
  • 支持5bit、6bit、7bit、8bit串行数据发送或接收
  • 标准异步通信位，例如启动、停止和奇偶校验
  • 支持UART操作的不同输入时钟以获得高达4Mbps的波特率
  • 支持自动流控模式（UART2除外）
    
    

其他

• 多组GPIO
  
  
  • 所有 GPIO 均可用于产生中断
  • 支持电平触发和边沿触发中断
  • 支持电平触发中断的可配置极性
  • 支持可配置的上升沿、下降沿和双沿触发中断
  • 支持可配置的拉动方向（弱上拉和弱下拉）
  • 支持可配置驱动强度
    
    
• 温度传感器 (TS-ADC)
  
  
  • 支持用户自定义模式和自动模式
  • 在 User-Defined Mode 下，start_of_conversion 可以完全由软件控制，也可以由
  • 在自动模式下，报警（高/低温）中断的温度可以
    
    

可配置

• 自动模式下，系统复位温度可配置
• 支持2通道TS-ADC（分别用于CPU和NPU），每个通道的温度标准可配置
• -40~125°C温度范围和5°C温度分辨率
• 高达 732 S/s 采样率的 12 位 SARADC
  
  

• 逐次逼近 ADC (SARADC)
  
  
  • 10 位分辨率
  • 高达 1MS/s 的采样率
  • 6个单端输入通道
    
    
• 一次性密码
  
  
  • 支持 32Kbit 空间和更高的 4k 地址空间是不安全的
  • 支持安全模式下的读取和编程字掩码
  • 支持程序长度从 1 到 32 位
  • 读操作仅支持 8bit
  • 可以读取程序和读取状态
  • 程序失败地址记录
    
    
• 包装类型
  
  

FCCSP 409 针（主体：14mm x 14mm；球尺寸：0.3mm；球间距：0.65mm）