瑞芯微RV1109高性能机器视觉处理器全面解析
瑞芯微RV1109高性能机器视觉处理器全面解析瑞芯微RV1109是一款用于工控机或人工智能视觉应用的高性能机器视觉处理器的SoC。它基于双核的ARM Cortex-A7 32位内核，集成了NEON和FPU。每个核心有一个32KB的我-cache和32KB的D-cache和512KB的统一L2缓存。内置的NPU支持INT8/INT16混合操作，计算能力可达1.2TOPs。此外，基于TensorFlow/MXNet/PyTorch/Caffe等精密框架的网络模型已经很不错了强的一个，可以方便地进行转换。RV1109还引入了更先进的基于硬件的5000万像素ISP（图像信号处理器）和后处理器。实现了IPC和CVR中常用的加速算法，如HDR、3A函数（AE、AF、AWB）、LSC所有这些都是实时处理的。通过两个 MIPI CSI（或 LVDS/subvds）和一个 DVP（BT.61/BT. 6BT.1120），接口用户可以同时接收来自3个接口用户的视频数据的系统。RV1109中嵌入的视频编码器支持5MH.265 / H.264编码。支持多流编码，最高可支持一个5M30FPS和一个720P30同时进行。 RV1109的H.264/H.265视频解码器支持5M的H.264和H.265。 RV1109 具有高性能的外部DRAM（DDR3/DDR3L/DDR4/LPDDR3/LPDDR4），能够维持高要求的内存消耗。特征下面的某些特定特性可能会受到许可要求的否定。应用处理器
[*]双核 Cortex-A7
[*]全面实现ARM架构v7-A指令集，ARM Neon Advanced SIMD
[*]独立集成的霓虹灯和 FPU
[*]每个 Cortex-A7 CPU 32KB L1 I-Cache 和 32KB L1 D-Cache
[*]用于双核 Cortex-A7 的统一 512KB L2 缓存
[*]支持 TrustZone 技术
[*]CPU核心系统独立电源域，支持根据不同应用场景进行内部电源开关和外部开启/关闭
[*]PD_CPU0：第一个 Cortex-A7 + Neon + FPU + L1 I/D 缓存
[*]PD_CPU1：第二个 Cortex-A7 + Neon + FPU + L1 I/D 缓存
[*]一个支持 DVFS 的隔离电压域
视频输入接口
[*]接口和视频输入处理器
[*]两个 MIPI CSI/LVDS/SubLVDS 接口，每个 4 个通道，每个通道 1Gbps
[*]1个8/10/12/16位标准DVP接口，最高150MHz输入数据
[*]支持601/BT.656和BT.1120 VI接口
[*]支持pixel_clk、hsync、vsync的极性可配置
[*]互联网服务供应商
[*]最大分辨率为 500 万像素
[*]DVP 输入：ITU-R 601/656/1120 with raw8/raw10/raw12/raw16, YUV422
[*]MIPI输入：RX数据通道x1/x2/x4、raw8/raw10/raw12、YUV422
[*]3A：包括AE/Histogram、AF、AWB统计输出
[*]FPN：固定模式噪声去除
[*]BLC：黑电平校正
[*]DPCC：静态/动态缺陷像素簇校正
[*]LSC：镜头阴影校正
[*]Bayer-NR：Bayer-raw 降噪，2DNR
[*]HDR：3-/2-帧合并到高动态范围
[*]TMO：3-/2-Frame 合并视频色调映射
[*]WDR：一帧宽动态范围色调映射
[*]Debayer：具有色差校正功能的高级自适应去马赛克
[*]CCM/CSM：色彩校正矩阵；RGB2YUV
[*]Gamma：Gamma 输出校正
[*]去雾/增强：自动去雾和边缘增强
[*]3DLUT：客户的 3D-Lut 调色板
[*]LDCH：水平方向的镜头畸变
[*]输出缩放*3：支持缩放级别*3（W0<3264；W1<1280；W2<1280）
[*]输出缩放*2：支持缩放级别*2(W0<1920; W1<1920)
[*]输出 (FBC)：支持 YUV422/420 帧缓冲压缩
[*]3DNR：YUV 中的高级时间降噪
[*]2DNR：YUV 中的高级空间降噪
[*]Sharp：YUV 中的图像锐化和边缘增强
[*]ORB：Oriented Fast and Rotated Brief，一种特征点检测方法
[*]FEC：更大的镜头失真和鱼眼校正
[*]CGC：色域压缩，YUV全范围/极限范围转换
视频编解码器
[*]视频解码器
[*]H.264 和 265 的实时解码
[*]H.265 的 Main 和 Main10 配置文件，最大 3072 像素宽
[*]视频编码器
[*]实时 H.265/H.264 视频编码
[*]I-/P-帧和SmartP
[*]五种比特率控制模式（CBR、VBR、FixQp、AVBR 和 QpMap）
[*]高达 100 Mbit/s 的输出比特率
[*]支持ROI（无限制）编码；
[*]支持多码流编解码
Ø 3072 x 1728@30 fps+1280 x 720@30 fpsØ 2688 x 1520@30 fps+1280 x 720@30 fpsØ 2688 x 1944@30 fps+1280 x 720@30fpsØ 2688 x 1944@30 编码 + 2688 x 1944@30 fps 解码
[*]输入数据格式：
[*]YCbCr 4:2:0 平面
[*]YCbCr 4:2:0 半平面
[*]YCbYCr 4:2:2
[*]CbYCrY 4:2:2 交错
[*]RGB444 和 BGR444
[*]RGB555 和 BGR555
[*]RGB565 和 BGR565
[*]RGB888 和 BRG888
Ø RGB101010和BRG101010
[*]一个支持 DVFS 的隔离电压域
JPEG 编解码器
[*]JPEG 编码器
[*]基线（DCT 顺序）
[*]编码器尺寸从96×96到8192×8192（67Mpixels）
[*]每秒高达 9000 万像素
[*]JPEG解码器
[*]解码器尺寸从48×48到8176×8176（66.8Mpixels）
[*]每秒高达 7600 万像素
神经处理单元
[*]处理性能高达1.2 TOPS的神经网络加速引擎
[*]支持整数8、整数16的卷积运算
[*]支持深度学习框架：TensorFlow、TF-lite、Pytorch、Caffe、ONNX、MXNet、Keras、Darknet
[*]支持 OpenVX API
[*]一个支持 DVFS 的隔离电压域
记忆组织
[*]内部片上存储器
[*]启动盘
[*]VD_LOGIC 电压域中的SYSTEM_SRAM
[*]VD_PMU 电压域中的 PMU_SRAM 用于低功耗应用
[*]外部片外存储器
[*]DDR3/DDR3L/DDR4/LPDDR3/LPDDR4 ①
[*]SPI闪存
[*]eMMC
[*]SD卡
[*]异步 Nand Flash
内部存储器
[*]内部 BootRom
[*]支持从以下设备启动系统：
[*]FSPI 闪存接口
[*]eMMC接口
[*]SDMMC接口
[*]异步 Nand 接口
[*]支持通过以下界面下载系统代码：
[*]USB OTG接口（设备模式）
[*]系统_SRAM
[*]大小：64KB
[*]PMU_SRAM
[*]大小：8KB
外部存储器或存储设备
[*]动态内存接口（DDR3/DDR3L/DDR4/LPDDR3/LPDDR4）
[*]符合 JEDEC 标准
[*]兼容DDR3/DDR3L/DDR4/LPDDR3/LPDDR4
[*]支持 32 位数据宽度，2 列（片选），每列最大 4GB 寻址空间，总寻址空间为 4GB（最大）
[*]低功耗模式，例如 SDRAM 的掉电和自刷新
[*]eMMC接口
[*]兼容标准 iNAND 接口
[*]兼容 eMMC 规范 51
[*]支持三种数据总线宽度：1-bit、4-bit或8-bit
[*]最高支持HS200；但不支持 CMD 队列
[*]SD/MMC 接口
[*]兼容 SD3.0、MMC 51
[*]数据总线宽度为 4bits
[*]灵活的串行闪存接口 (FSPI)
[*]支持从/到串行闪存设备传输数据
[*]支持x1、x2、x4数据位模式
[*]支持2芯片选择
[*]NAND闪存接口
[*]支持异步NAND闪存
[*]数据总线宽度为8bits
[*]支持1个片选
[*]支持 LBA NAND 闪存
[*]高达 16 位/1KB 硬件 ECC
[*]支持可配置接口时序
系统组件
[*]RISC-V 单片机
[*]具有 RISC-V ISA 的 32 位微控制器内核
[*]哈佛架构，独立的指令和数据存储器
指令集为带有 M 和 C 扩展的 RV32I
[*]集成可编程中断控制器 (IPIC)，所有 123 条 IRQ 线连接到 Cortex-A7 的 GIC 也连接到 RISC-V MCU
[*]带有 JTAG 接口的集成调试控制器
[*]CRU（时钟和复位单元）
[*]支持单个组件的时钟门控控制
[*]一个具有 24MHz 时钟输入的振荡器
[*]支持全芯片全局软复位控制，也支持每个元件单独软复位
[*]PMU（电源管理单元）
[*]支持5个独立的电压域VD_CORE/VD_LOGIC/VD_PMU/VD_NPU/VD_VEPU
[*]支持14个独立的电源域，可根据不同的应用场景通过软件进行上/下电
[*]多种可配置的工作模式，通过不同频率或自动时钟门控或电源域开/关控制来省电
[*]定时器
[*]支持 6 个 64 位定时器，为非安全应用提供基于中断的操作
[*]支持 2 个 64 位定时器，具有基于中断的操作以确保安全应用
[*]支持自由运行和自定义计数两种操作模式
[*]支持定时器工作状态可查看
[*]脉宽调制
[*]支持 12 个基于中断操作的片上 PWM (PWM0~PWM11)
[*]对总线时钟的可编程预缩放操作，然后进一步缩放
[*]嵌入式 32 位定时器/计数器功能
[*]支持抓拍模式
[*]支持连拍模式或单拍模式
[*]提供参考模式并输出各种占空比波形
[*]针对 PWM3、PWM7 和 PWM11 的 IR 应用进行了优化
[*]看门狗
[*]32位看门狗计数器
[*]计数器从预设值倒计时到 0 表示超时发生
[*]当超时发生时，WDT 可以执行两种类型的操作：
[*]生成系统重置
[*]首先产生一个中断，如果在第二次超时发生时服务程序没有清除它，则产生一个系统复位
[*]可编程复位脉冲长度
[*]主超时周期共16个定义范围
[*]一个用于非安全应用程序的看门狗
[*]一个用于安全应用的看门狗
[*]中断控制器
[*]支持来自不同组件的128个SPI中断源输入
[*]支持16个软件触发中断
[*]每个 Cortex-A7 分别有两个中断输出（nFIQ 和 nIRQ），都是低电平敏感的
[*]每个中断源支持不同的中断优先级，并且它们始终是软件可编程的
[*]DMAC
[*]基于微码编程的DMA
[*]支持链表DMA功能，完成scatter-gather传输
[*]支持内存到内存、内存到外设、外设到内存的数据传输类型
[*]使用中断输出信号指示各种 DMA 事件的发生
[*]1 个用于系统的嵌入式 DMA 控制器
[*]DMAC 特点：
[*]支持8通道
[*]来自外设的 27 个硬件请求
[*]2个中断输出
[*]支持 TrustZone 技术和每个 DMA 通道的可编程安全状态
[*]安全系统
[*]密码引擎
[*]支持SM2/SM3/SM4密码
[*]支持 SHA-1、SHA-256/224、SHA-512/384、MD5 硬件填充
[*]支持链接列表项 (LLI) DMA 传输
[*]支持AES-128 AES-256加解密密码
[*]支持AES ECB/CBC/OFB/CFB/CTR/CTS/XTS模式
[*]支持DES & TDES加解密密码
[*]支持DES/TDES ECB/CBC/OFB/CFB模式
[*]支持高达 4096 位的 RSA/ECC 的 PKA 数学运算
[*]最多支持8通道配置
[*]支持高达 256 位 TRNG 输出
[*]支持所有DDR类型的数据加扰
[*]支持安全OTP
[*]支持安全调试
[*]支持安全操作系统
[*]邮箱
[*]SoC 中的一个邮箱用于为 A7 和 RISC-V 通信提供服务
[*]每个邮箱支持四个邮箱元素，每个元素包括一个数据字、一个命令字寄存器和一个可以代表一个中断的标志位
[*]提供32个锁定寄存器供软件用来指示邮箱是否被占用
[*]德康
[*]支持解压 GZIP 文件
[*]支持解压 LZ4 文件，包括 LZ4 Frame 格式的 General Structure 和 Legacy Frame
[*]支持以 Deflate 格式解压缩数据
[*]支持以 ZLIB 格式解压缩数据
[*]支持完整中断和错误中断输出
[*]LZ4解压过程支持Hash32校验
[*]支持解压数据的限制大小功能，防止解压过程中内存被恶意破坏
[*]支持软件停止解压过程
图形引擎
[*]2D 图形引擎 (RGA)：
[*]源格式：
u ABGR8888、XBGR888、ARGB8888、XRGB888u RGB888、RGB565
u RGBA5551、RGBA4444
[*]YUV420平面、YUV420半平面
[*]YUV422平面、YUV422半平面
[*]YUV420/422 半平面的 YUV 10 位
[*]BPP8、BPP4、BPP2、BPP1
[*]目的地格式：
u ABGR8888、XBGR888、ARGB8888、XRGB888u RGB888、RGB565u RGBA5551、RGBA4444
[*]YUV420平面、YUV420半平面
[*]YUV422平面、YUV422半平面
[*]像素格式转换，601/BT.709
[*]最大分辨率：8192×8192 源、4096×4096 目标
[*]比特BLT
[*]两个源BitBLT：
[*]A+B=B 仅 BitBLT，A 支持 B 固定时旋转和缩放
[*]A+B=C 第二个源（B）与（C）具有相同的属性加上旋转功能
[*]带有渐变填充和图案填充的颜色填充
[*]高性能拉伸和收缩
[*]用于文本渲染的单色扩展
[*]新的全面的每像素 alpha（单独的颜色/alpha 通道）
[*]Alpha 混合模式，包括 Java 2 Porter-Duff 合成混合规则、色度键、图案蒙版、淡入淡出
[*]抖动操作
[*]0、90、180、270度旋转
[*]x-mirror, y-mirror 和旋转操作
[*]图像增强处理器 (IEP)：
[*]图像格式
[*]输入数据：YUV420/YUV422，半平面/平面，UV交换
[*]输出数据：YUV420/YUV422，半平面，UV交换，平铺模式
[*]YUV下采样从422到420的转换
[*]动态图像最大分辨率可达 1920×1080
[*]去隔行
显示界面
[*]1 个高达 24 位的 RGB 并行视频输出接口
[*]1个1120视频输出接口
[*]一个 4 通道 MIPI DSI 接口，每通道高达 1Gbps
[*]高达 1080p@60fps
视频输出处理器 (VOP)n 高达 1920×1080 @60fps
[*]多层
[*]背景层
[*]Win0层
[*]Win2层
[*]输入格式：RGB888、ARGB888、RGB565、YCbCr422、YCbCr420、YCbCr444
[*]1/8 到 8 的缩小和放大引擎
[*]支持虚拟显示
[*]256 级 alpha 混合（预乘 alpha 支持）
[*]透明色键
[*]YCbCr2RGB (rec601-mpeg/rec601-jpeg/rec709)
[*]RGB2YCbCr (BT.601/BT.709)
[*]支持多区域
[*]Win0层和Win2层叠加可互换
[*]支持RGB或YUV域叠加
[*]BCSH（亮度、对比度、饱和度、色调调整）
[*]BCSH: YCbCr2RGB (rec601-mpeg/rec601-jpeg/rec709)
[*]BCSH：RGB2YCbCr (BT.601/BT.709)
[*]支持 Gamma 调整
[*]支持向下抖动快板 RGB888to666 RGB888to565 & 向下抖动 FRC（可配置）RGB888to666
[*]空白和黑色显示
音频接口
[*]I2S0 8 通道
[*]多达 8 通道 TX 和 8 通道 RX 路径
[*]音频分辨率从 16 位到 32 位
[*]采样率高达 192KHz
[*]提供主从工作模式，软件可配置
[*]支持3种I2S格式（普通、左对齐、右对齐）
[*]支持 4 种 PCM 格式（early、late1、late2、late3）
[*]I2S和PCM模式不能同时使用
[*]带 2 个通道的 I2S1/I2S2
[*]最多 2 个通道用于 TX 和 2 个通道 RX 路径
[*]音频分辨率从 16 位到 32 位
[*]采样率高达 192KHz
[*]提供主从工作模式，软件可配置
[*]支持3种I2S格式（普通、左对齐、右对齐）
[*]支持 4 种 PCM 格式（early、late1、late2、late3）
[*]I2S和PCM不能同时使用
[*]PDM
[*]多达 8 个通道
[*]音频分辨率从 16 位到 24 位
[*]采样率高达 192KHz
[*]支持PDM主接收模式
[*]时分复用
[*]最多支持 8 通道 TX 和 8 通道 RX 路径
[*]音频分辨率从 16 位到 32 位
[*]采样率高达 192KHz
[*]提供主从工作模式，软件可配置
[*]支持3种I2S格式（普通、左对齐、右对齐）
[*]支持 4 种 PCM 格式（early、late1、late2、late3）
[*]音频脉宽调制
[*]支持将PCM格式转换为PWM格式
[*]采样率高达 16 倍
[*]支持 2x/4x/8x/16 过采样的线性插值
[*]支持8/9/10/11位可屏蔽L/R通道PWM输出
[*]数字音频编解码器
[*]支持3路数字ADC
[*]支持2通道数字DAC
[*]支持I2S/PCM接口
[*]支持I2S/PCM主从模式
[*]支持I2S模式下4路音频传输
[*]支持I2S模式下2路音频接收
[*]支持 PCM 模式下的 2 路音频发送或接收
[*]数字ADC和数字DAC均支持16~24位采样分辨率
[*]数字 ADC 和数字 DAC 都支持三组采样率。第 0 组为 8khz/16khz/32kHz/64kHz/128khz，第 1 组为 11.025khz/22.05khz/44.1khz/88.2khz/176.4khz，第 2 组为 12khz/24khz/48khz/96khz/
[*]数字ADC滤波器的通带为45625*fs
[*]支持+/-0.1dB以内的数字ADC通带纹波
[*]数字ADC滤波器的阻带为5*fs
[*]支持数字ADC阻带衰减至少60dB
[*]支持数字ADC和数字DAC的音量控制
[*]支持数字 ADC 的自动电平控制 (ALC) 和噪声门
[*]支持通过 I2C 总线与模拟编解码器通信
连通性
[*]SDIO接口
[*]兼容SDIO3.0协议
[*]4位数据总线宽度
[*]GMAC 10/100/1000M 以太网控制器
[*]通过 RGMII 接口支持 10/100/1000-Mbps 数据传输速率
[*]通过 RMII 接口支持 10/100-Mbps 数据传输速率
[*]支持全双工和半双工操作
[*]支持 TCP 分段卸载 (TSO) 和 UDP 分段卸载 (USO) 网络加速
[*]USB 2.0 主机
[*]兼容 USB 2.0 规范
[*]支持高速（480Mbps）、全速（12Mbps）和低速（1.5Mbps）模式
[*]支持增强型主机控制器接口规范 (EHCI)，修订版 0
[*]支持开放主机控制器接口规范 (OHCI)，修订版 0a
[*]USB 2.0 OTG
[*]通用串行总线规范，修订版 0
[*]通用串行总线 (xHCI) 的可扩展主机控制器接口，修订版 1.1
[*]兼容规格
[*]支持控制/批量/中断/同步传输
[*]SPI接口
[*]支持2个SPI控制器，支持2个片选输出
[*]支持串口-主、串口-从模式，软件可配置
[*]I2C接口
[*]支持6个I2C接口(I2C0-I2C5)
[*]支持7bits和10bits地址模式
[*]软件可编程时钟频率
[*]I2C 总线上的数据可以以高达 100k 位/秒的速率传输
标准模式，在快速模式中高达 400k bits/s 或在 Fast-mode Plus 中高达 1m bits/s
[*]UART接口
[*]支持6个UART接口（UART0-UART5）
[*]支持5bit、6bit、7bit、8bit串行数据发送或接收
[*]标准异步通信位，例如启动、停止和奇偶校验
[*]支持UART操作的不同输入时钟以获得高达4Mbps的波特率
[*]支持自动流控模式（UART2除外）
其他
[*]多组GPIO
[*]所有 GPIO 均可用于产生中断
[*]支持电平触发和边沿触发中断
[*]支持电平触发中断的可配置极性
[*]支持可配置的上升沿、下降沿和双沿触发中断
[*]支持可配置的拉动方向（弱上拉和弱下拉）
[*]支持可配置驱动强度
[*]温度传感器 (TS-ADC)
[*]支持用户自定义模式和自动模式
[*]在 User-Defined Mode 下，start_of_conversion 可以完全由软件控制，也可以由
[*]在自动模式下，报警（高/低温）中断的温度可以
可配置
[*]自动模式下，系统复位温度可配置
[*]支持2通道TS-ADC（分别用于CPU和NPU），每个通道的温度标准可配置
[*]-40~125°C温度范围和5°C温度分辨率
[*]高达 732 S/s 采样率的 12 位 SARADC
[*]逐次逼近 ADC (SARADC)
[*]10 位分辨率
[*]高达 1MS/s 的采样率
[*]6个单端输入通道
[*]一次性密码
[*]支持 32Kbit 空间和更高的 4k 地址空间是不安全的
[*]支持安全模式下的读取和编程字掩码
[*]支持程序长度从 1 到 32 位
[*]读操作仅支持 8bit
[*]可以读取程序和读取状态
[*]程序失败地址记录
[*]包装类型
FCCSP 409 针（主体：14mm x 14mm；球尺寸：0.3mm；球间距：0.65mm）
页:
[1]