【应用方案】Novatek NT98530SmartSensSC850SL GYRO EIS电子防手震方案

sunsili

【应用方案】Novatek NT98530+SmartSens SC850SL搭配陀螺仪(GYRO)实现电子防手震(EIS)方案

联咏 NT98530 SoC具有高图像品质、低码率、低功耗特性，支持高达640M像素/秒的速率，实现超过800万像素/60FPS边缘计算性能。高度整合的SensPro2是CEVA最新一代DSP，加上全面最佳化SDK，可确保SoC具有充分的性能来支持最复杂的电脑视觉算法和神经网路推理。件体DLA模块、图形引擎、以太网GMAC、USB3.0和USB 2.0、音讯转码器、RTC 和 SD/SDIO 3.0 提供最佳性价比的边缘计算 IP 摄像机解决方案。

电子防震是利用惯性测量单元IMU(Inertial measurement unit)来取得相机姿态变化，再利用对原始影像做局部裁切和变形后，抵销因相机震动造成的画面晃动，让输出影像呈现稳定不晃动的功能。

IMU型号为TDK ICM-42607，此IC芯片结合了 3 轴陀螺仪和 3 轴加速度计，且同时具有高达 2.25 KB 的 FIFO，可降低串列汇流排界面上的流量并通过允许系统处理器突发读取感测器数据然后进入低功耗模式。

NT98530可透过 SPI界面连接TDK ICM-42607提供 EIS 功能，进行相关设定控制与资料传输。

TDK ICM-42607摆放位置需与Sensor IC三轴角度需要互相平行或垂直。

硬件方案方块图

‘软件架构方块图’（作者：Novatek；出处：NT98530_EIS_User_Guide_zh.pdf）

EIS相关驱动相关档案

   (1) nvt_gyro_spi.ko

   (2) gyro_comm.ko

   (3) nvt_gyro_icm42607.ko

   (4) nvt_eis.ko

NT98530 DTSI配置

i. nvt-media.dtsi

• nvt_eis {compatible = "nvt,nvt_eis"; };
• nvt_gyro_common {compatible = "nvt,nvt_gyro_comm"; };
• spi2: spi@2,f0340000 { compatible = "nvt,nvt_gyro_spi"; …};
  
  

ii. nvt-top.dtsi

• spi{pinmux = <0x500>;};
• sif{pinmux = <0x000>;};
  
  

确认EIS动作

• 执行”echo test 1 > /proc/gyro_comm/cmd”验证Gyro资料是否正确
• EVB不动且单独拿Gyro移动，影像会移动表示EIS library串通并开始动作
  
  

执行”hd_video_record_eis 0 0 4”(IMX415为例)并透过HDMI连接萤幕或是使用VLC连接串流，即可以看到EIS效果。

[Note] EIS效果影片请参考下方相关影片内容

，时长00:30

开关EIS前后画面FOV差异

Q&A

Q1. 解决方案所支援的操作系统？

A：NT98530支援Linux，联咏HDAL系统框架，保持一致API接口，跨平台通用

Q2. 解决方案可支援到多大的影像格式输出？

A：NT98530 HDMI最大可输出4K2K

Q3. 解决方案是否有提供储存装置界面？

A：NT98530有提供支援1个SATA3.0的储存装置界面

Q4. 解决方案使用TDK ICM-42607是否需要自行编译驱动?

A : 不需要，NT98530 SDK内已整合此芯片驱动

Q5. 解决方案是否有距离上的限制?

A : EIS的算法因视差关系前方物体不能太近，保持五米以上距离效果较佳

►场景应用图

►展示板照片

►方案方块图

►核心技术优势

(1) 提供相关API给予客户使用和调教EIS

(2) 使用联咏提供的工具即可对Gyro进行校正

(3) 可使用自订Gyro资料

►方案规格

(1) 芯片核心是Qual Cortex-A53

(2) AI运算力是2T

(3) 电源输入是12V/2A

(4) 系统OS使用Linux

(5) 结合影像和语音编解码器

(6) 使用SPI界面连接Gyro，进行相关控制和资料传输