瑞芯微RV1109高性能机器视觉处理器全面解析

2021-11-22 22:59| 发布者: admin| 查看: 446| 评论: 0|原作者: sunsili

摘要: 瑞芯微RV1109高性能机器视觉处理器全面解析瑞芯微RV1109是一款用于工控机或人工智能视觉应用的高性能机器视觉处理器的SoC。它基于双核的ARM Cortex-A7 32位内核，集成了NEON和FPU。每个核心有一个32KB的我-cache和3 ...

瑞芯微RV1109高性能机器视觉处理器全面解析

瑞芯微RV1109是一款用于工控机或人工智能视觉应用的高性能机器视觉处理器的SoC。它基于双核的ARM Cortex-A7 32位内核，集成了NEON和FPU。每个核心有一个32KB的我-cache和32KB的D-cache和512KB的统一L2缓存。内置的NPU支持INT8/INT16混合操作，计算能力可达1.2TOPs。此外，基于TensorFlow/MXNet/PyTorch/Caffe等精密框架的网络模型已经很不错了强的一个，可以方便地进行转换。

RV1109还引入了更先进的基于硬件的5000万像素ISP（图像信号处理器）和后处理器。实现了IPC和CVR中常用的加速算法，如HDR、3A函数（AE、AF、AWB）、LSC所有这些都是实时处理的。通过两个 MIPI CSI（或 LVDS/subvds）和一个 DVP（BT.61/BT. 6BT.1120），接口用户可以同时接收来自3个接口用户的视频数据的系统。

RV1109中嵌入的视频编码器支持5M H.265 / H.264编码。支持多流编码，最高可支持一个5M30FPS和一个720P30同时进行。 RV1109的H.264/H.265视频解码器支持5M的H.264和H.265。 RV1109 具有高性能的外部DRAM（DDR3/DDR3L/DDR4/LPDDR3/LPDDR4），能够维持高要求的内存消耗。

特征

下面的某些特定特性可能会受到许可要求的否定。

应用处理器

双核 Cortex-A7
全面实现ARM架构v7-A指令集，ARM Neon Advanced SIMD
独立集成的霓虹灯和 FPU
每个 Cortex-A7 CPU 32KB L1 I-Cache 和 32KB L1 D-Cache
用于双核 Cortex-A7 的统一 512KB L2 缓存
支持 TrustZone 技术
CPU核心系统独立电源域，支持根据不同应用场景进行内部电源开关和外部开启/关闭
- PD_CPU0：第一个 Cortex-A7 + Neon + FPU + L1 I/D 缓存
- PD_CPU1：第二个 Cortex-A7 + Neon + FPU + L1 I/D 缓存
一个支持 DVFS 的隔离电压域

视频输入接口

接口和视频输入处理器
- 两个 MIPI CSI/LVDS/SubLVDS 接口，每个 4 个通道，每个通道 1Gbps
- 1个8/10/12/16位标准DVP接口，最高150MHz输入数据
- 支持601/BT.656和BT.1120 VI接口
- 支持pixel_clk、hsync、vsync的极性可配置
互联网服务供应商
- 最大分辨率为 500 万像素
- DVP 输入：ITU-R 601/656/1120 with raw8/raw10/raw12/raw16, YUV422
MIPI输入：RX数据通道x1/x2/x4、raw8/raw10/raw12、YUV422
3A：包括AE/Histogram、AF、AWB统计输出
FPN：固定模式噪声去除
BLC：黑电平校正
DPCC：静态/动态缺陷像素簇校正
LSC：镜头阴影校正
Bayer-NR：Bayer-raw 降噪，2DNR
HDR：3-/2-帧合并到高动态范围
TMO：3-/2-Frame 合并视频色调映射
WDR：一帧宽动态范围色调映射
Debayer：具有色差校正功能的高级自适应去马赛克
CCM/CSM：色彩校正矩阵；RGB2YUV
Gamma：Gamma 输出校正
去雾/增强：自动去雾和边缘增强
3DLUT：客户的 3D-Lut 调色板
LDCH：水平方向的镜头畸变
输出缩放*3：支持缩放级别*3（W0<3264；W1<1280；W2<1280）
输出缩放*2：支持缩放级别*2(W0<1920; W1<1920)
输出 (FBC)：支持 YUV422/420 帧缓冲压缩
3DNR：YUV 中的高级时间降噪
2DNR：YUV 中的高级空间降噪
Sharp：YUV 中的图像锐化和边缘增强
ORB：Oriented Fast and Rotated Brief，一种特征点检测方法
FEC：更大的镜头失真和鱼眼校正
CGC：色域压缩，YUV全范围/极限范围转换

视频编解码器

视频解码器
- H.264 和 265 的实时解码
- H.265 的 Main 和 Main10 配置文件，最大 3072 像素宽
视频编码器
- 实时 H.265/H.264 视频编码
- I-/P-帧和SmartP
- 五种比特率控制模式（CBR、VBR、FixQp、AVBR 和 QpMap）
- 高达 100 Mbit/s 的输出比特率
- 支持ROI（无限制）编码；
- 支持多码流编解码

Ø 3072 x 1728@30 fps+1280 x 720@30 fps

Ø 2688 x 1520@30 fps+1280 x 720@30 fps

Ø 2688 x 1944@30 fps+1280 x 720@30fps

Ø 2688 x 1944@30 编码 + 2688 x 1944@30 fps 解码

输入数据格式：
- YCbCr 4:2:0 平面
- YCbCr 4:2:0 半平面
- YCbYCr 4:2:2
- CbYCrY 4:2:2 交错
- RGB444 和 BGR444
- RGB555 和 BGR555
- RGB565 和 BGR565
- RGB888 和 BRG888

Ø RGB101010和BRG101010

一个支持 DVFS 的隔离电压域

JPEG 编解码器

JPEG 编码器
- 基线（DCT 顺序）
- 编码器尺寸从96×96到8192×8192（67Mpixels）
每秒高达 9000 万像素
JPEG解码器
- 解码器尺寸从48×48到8176×8176（66.8Mpixels）
- 每秒高达 7600 万像素

神经处理单元

处理性能高达1.2 TOPS的神经网络加速引擎
支持整数8、整数16的卷积运算
支持深度学习框架：TensorFlow、TF-lite、Pytorch、Caffe、ONNX、MXNet、Keras、Darknet
支持 OpenVX API
一个支持 DVFS 的隔离电压域

记忆组织

内部片上存储器
- 启动盘
- VD_LOGIC 电压域中的SYSTEM_SRAM
- VD_PMU 电压域中的 PMU_SRAM 用于低功耗应用
外部片外存储器
- DDR3/DDR3L/DDR4/LPDDR3/LPDDR4 ①
- SPI闪存
- eMMC
- SD卡
- 异步 Nand Flash

内部存储器

内部 BootRom
- 支持从以下设备启动系统：
FSPI 闪存接口
eMMC接口
SDMMC接口
异步 Nand 接口
- 支持通过以下界面下载系统代码：
USB OTG接口（设备模式）
系统_SRAM
- 大小：64KB
PMU_SRAM
- 大小：8KB

外部存储器或存储设备

动态内存接口（DDR3/DDR3L/DDR4/LPDDR3/LPDDR4）
- 符合 JEDEC 标准
- 兼容DDR3/DDR3L/DDR4/LPDDR3/LPDDR4
- 支持 32 位数据宽度，2 列（片选），每列最大 4GB 寻址空间，总寻址空间为 4GB（最大）
- 低功耗模式，例如 SDRAM 的掉电和自刷新
eMMC接口
- 兼容标准 iNAND 接口
- 兼容 eMMC 规范 51
- 支持三种数据总线宽度：1-bit、4-bit或8-bit
- 最高支持HS200；但不支持 CMD 队列
SD/MMC 接口
- 兼容 SD3.0、MMC 51
- 数据总线宽度为 4bits
灵活的串行闪存接口 (FSPI)
- 支持从/到串行闪存设备传输数据
- 支持x1、x2、x4数据位模式
支持2芯片选择
NAND闪存接口
- 支持异步NAND闪存
- 数据总线宽度为8bits
- 支持1个片选
- 支持 LBA NAND 闪存
- 高达 16 位/1KB 硬件 ECC
- 支持可配置接口时序

系统组件

RISC-V 单片机
- 具有 RISC-V ISA 的 32 位微控制器内核
- 哈佛架构，独立的指令和数据存储器

指令集为带有 M 和 C 扩展的 RV32I

集成可编程中断控制器 (IPIC)，所有 123 条 IRQ 线连接到 Cortex-A7 的 GIC 也连接到 RISC-V MCU
带有 JTAG 接口的集成调试控制器

CRU（时钟和复位单元）
- 支持单个组件的时钟门控控制
- 一个具有 24MHz 时钟输入的振荡器
- 支持全芯片全局软复位控制，也支持每个元件单独软复位
PMU（电源管理单元）
- 支持5个独立的电压域VD_CORE/VD_LOGIC/VD_PMU/VD_NPU/VD_VEPU
- 支持14个独立的电源域，可根据不同的应用场景通过软件进行上/下电
- 多种可配置的工作模式，通过不同频率或自动时钟门控或电源域开/关控制来省电
定时器
- 支持 6 个 64 位定时器，为非安全应用提供基于中断的操作
- 支持 2 个 64 位定时器，具有基于中断的操作以确保安全应用
- 支持自由运行和自定义计数两种操作模式
- 支持定时器工作状态可查看
脉宽调制
- 支持 12 个基于中断操作的片上 PWM (PWM0~PWM11)
- 对总线时钟的可编程预缩放操作，然后进一步缩放
- 嵌入式 32 位定时器/计数器功能
- 支持抓拍模式
- 支持连拍模式或单拍模式
- 提供参考模式并输出各种占空比波形
- 针对 PWM3、PWM7 和 PWM11 的 IR 应用进行了优化
看门狗
- 32位看门狗计数器
- 计数器从预设值倒计时到 0 表示超时发生
- 当超时发生时，WDT 可以执行两种类型的操作：
生成系统重置
首先产生一个中断，如果在第二次超时发生时服务程序没有清除它，则产生一个系统复位
- 可编程复位脉冲长度
- 主超时周期共16个定义范围
- 一个用于非安全应用程序的看门狗
- 一个用于安全应用的看门狗
中断控制器
- 支持来自不同组件的128个SPI中断源输入
- 支持16个软件触发中断
每个 Cortex-A7 分别有两个中断输出（nFIQ 和 nIRQ），都是低电平敏感的
每个中断源支持不同的中断优先级，并且它们始终是软件可编程的
DMAC
- 基于微码编程的DMA
- 支持链表DMA功能，完成scatter-gather传输
- 支持内存到内存、内存到外设、外设到内存的数据传输类型
- 使用中断输出信号指示各种 DMA 事件的发生
- 1 个用于系统的嵌入式 DMA 控制器
- DMAC 特点：
支持8通道
来自外设的 27 个硬件请求
2个中断输出
支持 TrustZone 技术和每个 DMA 通道的可编程安全状态
安全系统
- 密码引擎
支持SM2/SM3/SM4密码
支持 SHA-1、SHA-256/224、SHA-512/384、MD5 硬件填充
支持链接列表项 (LLI) DMA 传输
支持AES-128 AES-256加解密密码
支持AES ECB/CBC/OFB/CFB/CTR/CTS/XTS模式
支持DES & TDES加解密密码
支持DES/TDES ECB/CBC/OFB/CFB模式
支持高达 4096 位的 RSA/ECC 的 PKA 数学运算
最多支持8通道配置
支持高达 256 位 TRNG 输出
- 支持所有DDR类型的数据加扰
- 支持安全OTP
- 支持安全调试
- 支持安全操作系统
邮箱
- SoC 中的一个邮箱用于为 A7 和 RISC-V 通信提供服务
- 每个邮箱支持四个邮箱元素，每个元素包括一个数据字、一个命令字寄存器和一个可以代表一个中断的标志位
- 提供32个锁定寄存器供软件用来指示邮箱是否被占用
德康
- 支持解压 GZIP 文件
- 支持解压 LZ4 文件，包括 LZ4 Frame 格式的 General Structure 和 Legacy Frame
- 支持以 Deflate 格式解压缩数据
- 支持以 ZLIB 格式解压缩数据
- 支持完整中断和错误中断输出
- LZ4解压过程支持Hash32校验
- 支持解压数据的限制大小功能，防止解压过程中内存被恶意破坏
- 支持软件停止解压过程

图形引擎

2D 图形引擎 (RGA)：
- 源格式：

u ABGR8888、XBGR888、ARGB8888、XRGB888

u RGB888、RGB565

u RGBA5551、RGBA4444

YUV420平面、YUV420半平面
YUV422平面、YUV422半平面
YUV420/422 半平面的 YUV 10 位
BPP8、BPP4、BPP2、BPP1
- 目的地格式：

u ABGR8888、XBGR888、ARGB8888、XRGB888

u RGB888、RGB565

u RGBA5551、RGBA4444

YUV420平面、YUV420半平面
YUV422平面、YUV422半平面
- 像素格式转换，601/BT.709
- 最大分辨率：8192×8192 源、4096×4096 目标
- 比特BLT
两个源BitBLT：
A+B=B 仅 BitBLT，A 支持 B 固定时旋转和缩放
A+B=C 第二个源（B）与（C）具有相同的属性加上旋转功能
- 带有渐变填充和图案填充的颜色填充
- 高性能拉伸和收缩
- 用于文本渲染的单色扩展
- 新的全面的每像素 alpha（单独的颜色/alpha 通道）
- Alpha 混合模式，包括 Java 2 Porter-Duff 合成混合规则、色度键、图案蒙版、淡入淡出
- 抖动操作
- 0、90、180、270度旋转
- x-mirror, y-mirror 和旋转操作
图像增强处理器 (IEP)：
- 图像格式
输入数据：YUV420/YUV422，半平面/平面，UV交换
输出数据：YUV420/YUV422，半平面，UV交换，平铺模式
YUV下采样从422到420的转换
动态图像最大分辨率可达 1920×1080
- 去隔行

显示界面

1 个高达 24 位的 RGB 并行视频输出接口
1个1120视频输出接口
一个 4 通道 MIPI DSI 接口，每通道高达 1Gbps
高达 1080p@60fps

视频输出处理器 (VOP)

n 高达 1920×1080 @60fps

多层
- 背景层
- Win0层
- Win2层
输入格式：RGB888、ARGB888、RGB565、YCbCr422、YCbCr420、YCbCr444
1/8 到 8 的缩小和放大引擎
支持虚拟显示
256 级 alpha 混合（预乘 alpha 支持）
透明色键
YCbCr2RGB (rec601-mpeg/rec601-jpeg/rec709)
RGB2YCbCr (BT.601/BT.709)
支持多区域
Win0层和Win2层叠加可互换
支持RGB或YUV域叠加
BCSH（亮度、对比度、饱和度、色调调整）
BCSH: YCbCr2RGB (rec601-mpeg/rec601-jpeg/rec709)
BCSH：RGB2YCbCr (BT.601/BT.709)
支持 Gamma 调整
支持向下抖动快板 RGB888to666 RGB888to565 & 向下抖动 FRC（可配置）RGB888to666
空白和黑色显示

音频接口

I2S0 8 通道
- 多达 8 通道 TX 和 8 通道 RX 路径
- 音频分辨率从 16 位到 32 位
- 采样率高达 192KHz
- 提供主从工作模式，软件可配置
- 支持3种I2S格式（普通、左对齐、右对齐）
- 支持 4 种 PCM 格式（early、late1、late2、late3）
- I2S和PCM模式不能同时使用
带 2 个通道的 I2S1/I2S2
- 最多 2 个通道用于 TX 和 2 个通道 RX 路径
- 音频分辨率从 16 位到 32 位
- 采样率高达 192KHz
- 提供主从工作模式，软件可配置
- 支持3种I2S格式（普通、左对齐、右对齐）
- 支持 4 种 PCM 格式（early、late1、late2、late3）
- I2S和PCM不能同时使用
PDM
- 多达 8 个通道
- 音频分辨率从 16 位到 24 位
- 采样率高达 192KHz
- 支持PDM主接收模式
时分复用
- 最多支持 8 通道 TX 和 8 通道 RX 路径
- 音频分辨率从 16 位到 32 位
- 采样率高达 192KHz
- 提供主从工作模式，软件可配置
- 支持3种I2S格式（普通、左对齐、右对齐）
- 支持 4 种 PCM 格式（early、late1、late2、late3）
音频脉宽调制
- 支持将PCM格式转换为PWM格式
- 采样率高达 16 倍
- 支持 2x/4x/8x/16 过采样的线性插值
- 支持8/9/10/11位可屏蔽L/R通道PWM输出
数字音频编解码器
- 支持3路数字ADC
- 支持2通道数字DAC
- 支持I2S/PCM接口
- 支持I2S/PCM主从模式
- 支持I2S模式下4路音频传输
- 支持I2S模式下2路音频接收
- 支持 PCM 模式下的 2 路音频发送或接收
- 数字ADC和数字DAC均支持16~24位采样分辨率
- 数字 ADC 和数字 DAC 都支持三组采样率。第 0 组为 8khz/16khz/32kHz/64kHz/128khz，第 1 组为 11.025khz/22.05khz/44.1khz/88.2khz/176.4khz，第 2 组为 12khz/24khz/48khz/96khz/
- 数字ADC滤波器的通带为45625*fs
- 支持+/-0.1dB以内的数字ADC通带纹波
数字ADC滤波器的阻带为5*fs
支持数字ADC阻带衰减至少60dB
支持数字ADC和数字DAC的音量控制
支持数字 ADC 的自动电平控制 (ALC) 和噪声门
支持通过 I2C 总线与模拟编解码器通信

连通性

SDIO接口
- 兼容SDIO3.0协议
- 4位数据总线宽度
GMAC 10/100/1000M 以太网控制器
- 通过 RGMII 接口支持 10/100/1000-Mbps 数据传输速率
- 通过 RMII 接口支持 10/100-Mbps 数据传输速率
- 支持全双工和半双工操作
- 支持 TCP 分段卸载 (TSO) 和 UDP 分段卸载 (USO) 网络加速
USB 2.0 主机
- 兼容 USB 2.0 规范
- 支持高速（480Mbps）、全速（12Mbps）和低速（1.5Mbps）模式
- 支持增强型主机控制器接口规范 (EHCI)，修订版 0
- 支持开放主机控制器接口规范 (OHCI)，修订版 0a
USB 2.0 OTG
- 通用串行总线规范，修订版 0
- 通用串行总线 (xHCI) 的可扩展主机控制器接口，修订版 1.1
- 兼容规格
- 支持控制/批量/中断/同步传输
SPI接口
- 支持2个SPI控制器，支持2个片选输出
- 支持串口-主、串口-从模式，软件可配置
I2C接口
- 支持6个I2C接口(I2C0-I2C5)
- 支持7bits和10bits地址模式
- 软件可编程时钟频率
- I2C 总线上的数据可以以高达 100k 位/秒的速率传输

标准模式，在快速模式中高达 400k bits/s 或在 Fast-mode Plus 中高达 1m bits/s

UART接口
- 支持6个UART接口（UART0-UART5）
- 支持5bit、6bit、7bit、8bit串行数据发送或接收
- 标准异步通信位，例如启动、停止和奇偶校验
- 支持UART操作的不同输入时钟以获得高达4Mbps的波特率
- 支持自动流控模式（UART2除外）

其他

多组GPIO
- 所有 GPIO 均可用于产生中断
- 支持电平触发和边沿触发中断
- 支持电平触发中断的可配置极性
- 支持可配置的上升沿、下降沿和双沿触发中断
- 支持可配置的拉动方向（弱上拉和弱下拉）
- 支持可配置驱动强度
温度传感器 (TS-ADC)
- 支持用户自定义模式和自动模式
- 在 User-Defined Mode 下，start_of_conversion 可以完全由软件控制，也可以由
- 在自动模式下，报警（高/低温）中断的温度可以

可配置

自动模式下，系统复位温度可配置
支持2通道TS-ADC（分别用于CPU和NPU），每个通道的温度标准可配置
-40~125°C温度范围和5°C温度分辨率
高达 732 S/s 采样率的 12 位 SARADC

逐次逼近 ADC (SARADC)
- 10 位分辨率
- 高达 1MS/s 的采样率
- 6个单端输入通道
一次性密码
- 支持 32Kbit 空间和更高的 4k 地址空间是不安全的
- 支持安全模式下的读取和编程字掩码
- 支持程序长度从 1 到 32 位
- 读操作仅支持 8bit
- 可以读取程序和读取状态
- 程序失败地址记录
包装类型