谷动谷力

 找回密码
 立即注册
查看: 4225|回复: 0
收起左侧

应用方案 | 基于NXP i.MX8M Plus平台AI Killer 深度学习

[复制链接]
发表于 2022-5-5 23:03:56 | 显示全部楼层 |阅读模式
应用方案 | 无所不能的 AI !让你做出 Killer 应用 !!基于NXP i.MX8M Plus平台[color=rgba(0, 0, 0, 0.3)]# [8 _) b9 g2 }. \/ w9 W

# c+ ~, Z/ H: X. B# ~: K
640?wx_fmt=jpeg.jpg
+ H; A- X! u+ X; ?7 e6 X* B9 f
8 Q* B8 S0 e2 x# [
,时长04:04
4 J! c9 A  a) h+ @
[color=rgba(255, 255, 255, 0.8)]0 x! c5 k' i5 w% _; u7 }

" _5 M: Q  M6 K% k, g6 N& u, |

: S5 e& t' n6 K4 I# o# ~6 b2 W
) P/ f+ \  e9 x  P0 O& j0 g1 Z; {2 x6 }( |6 g) y8 b+ @
6 V- o+ ?7 U, J% S

* Q: n, `$ w6 k/ q* P2 U1 s9 _: R6 o: ^9 w% Y) D
, Y; {! A; ^0 y1 U- U* L
4 y9 q- h" h  G# V/ U3 J( T
, X: f$ v* S& c3 F4 b
资讯改革即将来临 !!  随着科技日新月盛地进步,AI 的应用已悄悄融入于人们的生活中,像是 Google 强大的搜寻引擎、Facebook 的喜爱排序、网络卖场的销售排行等等。静静地回想,不难发现这些应用已经散布于每个人生活之中。
! A5 V' X: o- X, t* e$ L
在不久的将来,所谓的边缘运算(Edge Computing) 将会带来此领域的另一个高峰。借由神经运算处理芯片(Network Processing Unit, NPU) 的诞生,亦指 AI 芯片。使得芯片运算能力有着飞跃性的成长,让机器学习、人工智能的应用能够落实于移动设备端、传感器等等各种硬体设备,更加贴近于人们实际生活之中。然而,这类脍炙人口的新颖应用领域不外乎就是智慧工厂(Smart Factor)、智慧医疗(Smart Medical)、智慧生活(Smart Life)、智慧城市(Smart City)、物联网(IoT)、工业 4.0、先进辅助驾驶系统(ADAS) 等等。因此,如何让生活、物品变得更智慧、更人性,就是新时代的创意,借此通过 AI 开创无限可能性。

; k4 {% o6 |8 X( O. ? 640?wx_fmt=png.jpg
图1  OP-Killer EVM Board 应用场景" n4 \2 X; f  J7 h7 T. J! G

7 A' \! M0 K4 t+ s% ]* h
本方案提供一套 OP-Killer EVM Board 之 AI 相关应用产品开发原型与技术资源,如下图所示。要让初入此领域者的开发者能够更快速地上手机器学习相关应用,并促成未来的杀手级应用。
8 M& U8 U( g0 I. a1 J% q5 g
此开发原型由两块开发板组成,SOM Board 为主要开发板,可独立使用。而 I/O Board 为扩充板,能够提供丰富的应用支持。
使得实际应用上更具灵活性以及提供最佳化的应用模块,借此应用于各式各样的领域,如物联网(IoT)、工业4.0 (Industry 4.0)、自驾车(Autonomous Cars),足以落实 边缘运算(Edge Computing) 的概念,创造更好的应用价值。
# Q: V( Q6 k9 r+ F# M
SOM Board 开发板 :

$ U2 @  Z# n6 h* r% w
采用 NXP i.MX8M Plus平台为基础,提供两种规格的 4x Cortex-A53 处理器 ( 1.6 or 1.8 GHz ) 以及 1200 万画素的图像处理器 ISP、2.3 TOPS 算力的神经运算处理器 NPU、图形加速器 2D/3D GPU、音效数位讯号处理器 HiFi 4 DSP 等强大核心架构。其中,神经运算处理器 NPU 为此芯片的亮点核心,透过独特的硬体架构特性,能够在低功耗的环境下(约 2 W) 提供极高的运算效能,妥善运用能够大幅度提高机器学习的推理效益。特别适用于 MobileNet、ResNet、Inception、YOLO 等神经网络架构。

3 g! o$ ]+ Y2 S$ C) ^
I/O Board 开发板 : # t) v8 r$ r1 X1 g9 _

/ Q; @  ]1 Y% N. o# l
提供强大的周边配置,透过 314 PIN 的 MXM 传输界面 ( WPI 定义) 来传送周边讯号,如 UART 异步收发传输器、USB Type A/C 3.0 通用序列汇流排接口、 Gigabit Ethernet 乙太网路、I2C Bus 串列通讯汇流排、 MIPI-CSI 镜头资料传输界面、MIPI-DSI 显示资料传输界面、GPIO 通用型输入输出界面、HDMI 高画质多媒体界面、 LVDS 低压差分讯号技术界面、 CAN Bus 控制器区域网路、 M.2 Key B 传输界面、3.5 mm headset 音源接口。能够将 I/O Board 与 SOM Board 开发板完美结合,让讯号与资讯迅速交流 !!
640?wx_fmt=png.jpg
图2  OP-Killer EVM Board 深度学习- MXM 传输界面示意图
/ h. J) v) D7 h0 Q$ s
/ e. ]9 v1 \6 S7 {4 u2 R% m
以及搭配 NXP 所建置的机器学习开发环境 eIQ(edge intelligence),能够快速地应用 TensorFlow Lite、ONNX、ArmNN、DeepViewRT 等等深度学习框架。如同下图所示,仅需将影像、声音等相应的资料,托付(Delegate) 给任何一个深度学习框架进行推理(Inference),即可快速解析神经网络架构来得到结果。且该框架将会透过 OpenVX 资料库 与 神经运算处理芯片 NPU 作最佳化的加速运算。经实际测试,MobileNet-SSD 物件侦测,推理速度约可达到每秒 80张 FPS。MobileNet 物件分类,推理速度更是能达到每秒 329 张 FPS。比起同级的 GPU (GC7000XSVX) 而言,能快上约莫 4 倍的运算效益!!  
640?wx_fmt=png.jpg
图3  OP-Killer EVM Board 深度学习应用示意图5 Q' y" H, o  R) q7 G
# i0 o  {( O0 v7 w7 \
如下图所示,展示了更多实际的应用。如 ADAS、智慧相机、智慧城市、智慧生活。都可借由你的想像力与创造力,开发出更具潜在力的杀手应用!!
640?wx_fmt=png.jpg
图4  OP-Killer EVM Board 深度学习-更多实际应用示意图3 a; ?- z5 P- r) p- O4 H5 J

8 w) N% c" e2 E0 _: ]  H
这里,亦提供实际应用数据,而多数应用皆能达到每秒 30 张以上的推理速度 !!  如同著名的物件侦测算法 YOLO V3 Tiny 与 YOLO V4 Tiny  亦有高达 67 与 43 张的 FPS 。足以落实大部分视觉相关的应用 !! 潜力无限 !!
640?wx_fmt=png.jpg
图5  OP-Killer EVM Board 深度学习-更多实际应用数据表8 W) r8 ]' |  l0 }6 l  u0 H

- _. E0 M& ~6 f4 C7 t
► 场景应用图
640?wx_fmt=jpeg.jpg ( O0 g/ W" g% m6 `, O+ @* E. W
► 展示版照片
640?wx_fmt=jpeg.jpg 640?wx_fmt=png.jpg
0 B9 L  x! M2 P. M2 G& @" ^( Z
► 方案方块图
640?wx_fmt=jpeg.jpg # J( }0 g) l, j& N% J% x
► 核心技术优势
1. 搭配算力 2.3 TOPS 的神经处理器(Neural Processing Unit , NPU),即拥有强大的机器学习推理能力。比起广为人知的 图形处理器(Graphics Processing Unit , GPU) 更为省电,效率更高,是专门设计应用于深度学习、人工智能的处理器 !!

. t9 j: [" l$ |
2. 独立 SOM 开发板设计,并搭配强大的 NXP i.MX8M Plus 芯片。能够提供最小开机系统以及未来可配合 USB Wi-FI / BT 模组,更加适合应用于 IoT 与工业控制领域。

8 Y1 A: Z2 B: p
3. 结合 I / O 开发板能够提供齐全的周边配置。如高画质多媒体界面(HDMI)、低压差分讯号技术界面(LVDS)、乙太网路(Ethernet)、控制器区域网路(CAN bus)、异步收发传输器(UART)、通用序列汇流排接口(USB Type A/C)、3.5 mm headset 音源接口、镜头资料传输界面(MIPI-CSI)、显示资料传输界面(MIPI-DSI)、M.2 - PCIe 3.0 传输界面。
* J3 ]! T, W+ z* ~8 A' e' u
4. 可快速上手应用 eIQ / PyeIQ 机器学习开发环境,提供 TensorFlow Lite、ONNX、DeepViewRT 等多种深度学习框架的应用范例。
( t- r) k% O  v% S) `
► 方案规格
** SOM Borad 规格 **
MPU ( NXP i.MX8M Plus, MIMX8ML8CVNKZAB / MIMX8ML8DVNLZAB ) 规格:
1. 搭配 4 颗 Arm Cortex-A53 高效能处理器,最高时脉分别为 1.6 GHz 与 1.8 GHZ  
2. 搭配 2.3 TOPS 算力的神经处理器(NPU, Neural Processing Unit) 给予机器学习应用
3. 搭配两组影像讯号处理单元 (ISP) 能够解析 12 万画素与每秒可达 375 MPixels/s 像素
4. 支持两组 MIPI-CSI 镜头界面
5. 支援低功耗声音加速器 : Cadence® Tensilica® HiFi 4 DSP at 800 MHz
6. 强健的 3D/2D 图强加速器(GPU, GC7000UL)
7. 强大的视讯解码器与编码器能够支援 1080p at 60 frame 的影像串流.

0 f3 ^& i+ ^% _. z( Y+ a2 t2 r
PMIC (PCA9450C) 规格:
1. 提供一组双向降压稳压器
2. 提供五组线性稳压器
3. 提供400 mA 主动负载开关
4. 支援 ESD 保护机制 : +/- 2000V HBM 与 +/-500V CDM .
3 ?" b6 T4 ?' R* q5 O; E
eMMC 5.1 (MTFC32GAPALBH-IT) 规格:
1. 储存容量为 32 GB
2. 操作电压为 2.7 至 3.6 V
3. 操作温度为 -40 至 85 °C
6 ]9 e. D# O0 c  t+ V3 G
External Memory LPDDR4 (MT53D1024M32D4DT-046 AAT) 规格:
1. 最高运行时脉为 2133 MHz
2. 储存容量为 4 GB
3. 操作电压为 1.1 V
4. 操作温度为 -40 至 105 °C

. l2 o8 h4 V/ U6 |- j) J* Z/ b
NOR Flash (IS25WP256E-JLLE) 规格:
1.储存容量为 32 MB
2.操作电压为 1.7 至 1.95 V
3.操作温度为 -40 至 105 °C  
) \) D$ V( V5 @5 L) ]6 O
** IO Board 规格 **
◆     1x M.2 Key B 传输界面
◆     1x Expansion Connector 扩充界面 ( I2C、GPIO、UART、PWM、SPI、PDM )
◆     2x LVDS 低压差分讯号技术界面
◆     1x USB Type A 3.0 通用序列汇流排接口
◆     1x USB Type C 3.0 通用序列汇流排接口
◆     1x Debug 连接埠
◆      2x CAN Bus 控制器区域网路
◆     1x MIPI-DSI 显示资料传输界面
◆     3.5 mm headset 音源接口
◆     2x Gigabit Ethernet 乙太网路
◆     1x HDMI 高画质多媒体界面
◆     2x MIPI-CSI 镜头资料传输界面

4 h( M% F, ~, Q4 x/ h, P  ?; J1 B5 N! w1 s% O! H
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|深圳市光明谷科技有限公司|光明谷商城|Sunshine Silicon Corpporation ( 粤ICP备14060730号|Sitemap

GMT+8, 2024-3-28 23:36 , Processed in 0.096898 second(s), 35 queries .

Powered by Discuz! X3.2 Licensed

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表