发烧友实测 | iMX8MP开发板移植官方NPU TensorFlow例程

飞凌-marketing

, y" _+ a7 c% M2 O3 o( I

作者｜donatello1996

来源 | 电子发烧友

题图｜飞凌嵌入式

原文链接：https://www.forlinx.com/article_view_809.html

iMX8MPlus 核心板： https://www.forlinx.com/product/136.html

4 ~# w+ t3 H9 e1 Y

飞凌嵌入式OKMX8MP-C开发板基于NXP i.MX 8M Plus处理器开发设计，该系列处理器专注于机器学习与视觉、高级多媒体以及具有高可靠性的工业自动化。旨在满足智慧城市、工业互联网、智能医疗、智慧交通等应用的需求。强大的四核或双核Arm® Cortex®-A53处理器，主频高达1.6GHz，带有神经处理单元(NPU)，最高运行速率可达2.3TOPS。

5 |& N) f5 y# ^. m- ~

本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板，系统版本Linux5.4.70+Qt5.15.0，主要介绍移植官方NPU TensorFlow例程。

. S( F: G) u" h

一、 NPU的图像识别例程

在OKMX8MP-C 开发板提供的产品使用手册中，有一章是针对 iMX8MP 板上NPU的图像识别例程，位于EMMC分区的/usr/bin/tensoRFlow-lite-2.3.1/examples，我将EMMC分区mount为了/media分区，找到对应的例程位置。

1 u: U4 V, a. I" G3 y0 x5 O1 h

$ g# ~; J$ [& E$ w  n+ W, ?: }

将 iMX8MP 开发板切换到EMMC启动，进入/usr/bin/tensorflow-lite-2.3.1/examples/目录下，运行测试example：

再将 iMX8MP 开发板切回TF卡系统运行，提示报错，label_image程序的nnapi需要动态链接库支持：

1. libm-2.30.so
   
2. libneuralnetworks.so.1.1.9
   
3. libnnrt.so.1.1.9
   4 O: N+ n" `: [0 M* V
4. libArchModelSw.so
   
5. libGAL.so
   
6. libNNArchPerf.so
   
7. libOpenVX.so.1.3.0
   / L  i$ B& X7 S6 y8 Q0 y$ T2 e
8. libovxlib.so.1.1.0
   8 a3 B! _2 ~: |! \8 @
9. libVSC.so

复制代码

' {2 m* }  M! P( Q# i5 V
+ u) I; _1 q# c

其中libm-2.30.so被链接为ld-linux-aarch64.so.1，位于/usr/lib/aarch64-linux-gnu/目录下，若在移植后的目标系统的/usr/lib/aarch64-linux-gnu/下没有该库文件的话，是会在运行时提示报错的。将上述所有动态链接库复制到正确位置(/usr/lib和/usr/lib/aarch64-linux-gnu/)，再次运行：

! l: l1 Z5 _! X
6 _7 W& F2 H6 J

可以看到没有任何报错，运行库环境移植成功，接下来可以在 iMX8MP 开发板上愉快地进行tensorflow例程的玩耍了。

二、TensorFlow例程验证

1 v+ @9 P' c4 M; T$ Y0 R/ n! U: H$ e( Z

飞凌嵌入式iMX8MP官方资料中提供了许多测试例程，先用官方DEMO做一下验证，其验证结果如下。

* H) f# [( ~) X0 U3 E

1. 0.780392: 653 military unIForm
   
2. 0.105882: 907 Windsor tie
   
3. 0.0156863: 458 bow tie
   
4. 0.0117647: 466 bulletproof vest
   / I, R2 u, q, P$ n
5. 0.00784314: 835 suit

复制代码

4 C- J, t7 Z1 P5 q5 G$ c( Z# x

78%结果吻合陆军制服，10%结果吻合温莎领带，1%结果吻合领结，1%结果吻合防弹背心，不到1%结果吻合西装，总的来说这个结果还是挺令人满意的，NPU的算力确实还可以，多次运行程序，得出的结果完全相同，说明 iMX8MP NPU计算时使用的是固定的/静态的图像识别库。

9 F$ _( J/ T0 ]/ G5 Q- D

我这边突发奇想，用这个Demo去测一下我自己的论坛头像，看看结果：

8 p  F0 C$ A9 o3 v

8 v& W+ f+ p% N$ c8 \

4 v. I2 I4 T/ l4 M; L9 ?2 ~8 M% v

1. 0.352941: 274 dingo
   ( @  ]$ }! k  W& h0 o1 l+ w' c" t
2. 0.254902: 265 Cardigan
   ; o( U  }$ E. [' t" r
3. 0.184314: 264 Pembroke
   & I# A$ Z9 l. f  y
4. 0.0666667: 163 beagle
   * `7 l% J* [8 {: R8 K
5. 0.0156863: 354 gazelle

复制代码

5 N# D3 |& M) Q- ?) Q9 t! T) I
35%的野狗，25%的毛衣，18%的Pembroke？？？，6%的小猎犬（beagle），1%的羚羊，看到羚羊（gazelle）我属实蚌埠住了，哈哈。
2 M4 J9 Y2 A2 s
% J. B* r1 R. j" |2 c% c2 D

再来试试另外几张图片，为了检验iMX8MP NPU的人工智能算力到底行不行，集齐了十张图，豪华尊享。由于源码不开放，所以无法移植源码到自己的例程中：

8 G& y& B6 G, ~: o" {7 @0 t  Q

3 i, A1 f3 p) q0 Y, b' q

1. 0.160784: 639 maillot
   $ u- C/ k% {$ s  h) K
2. 0.137255: 436 bathtub
   
3. 0.117647: 886 velvet
   : L- ?6 k0 s& B. F) {+ v# ]: x
4. 0.0705882: 586 hair spray
   
5. 0.0509804: 440 bearskin

复制代码

1. 0.972549: 644 mask
   3 g. P( ]' }3 B3 F
2. 0.00392157: 918 comic book
   
3. 0.00392157: 904 wig
   
4. 0.00392157: 797 ski mask
   
5. 0.00392157: 732 plunger
   

复制代码

8 o, _* h9 C% m* `% l" T
! E' c# F8 `0 e

1. 0.380392: 583 grocery store
   
2. 0.321569: 957 custard apple
   
3. 0.0862745: 955 banana
   
4. 0.0352941: 956 jackfruit
   ' J  q# A; f7 ~8 s5 X" V
5. 0.027451: 954 pineapple

复制代码

1. 0.254902: 918 comic book
   9 `# g& T  F- p/ X6 K. [* E+ a
2. 0.0470588: 771 running shoe
   
3. 0.0470588: 474 can opener
   
4. 0.0470588: 412 apron
   ; l! H% }5 @6 H# f; R9 i
5. 0.0392157: 794 shower cap

复制代码

) ]7 r; v6 O' t7 ?. S( y4 }

1. 0.52549: 922 book jacket
   
2. 0.0705882: 788 shield
   3 i6 A  J# s6 \+ o- `$ ?
3. 0.0705882: 452 bolo tie
   ' z# j6 G- K% a- S& L6 w
4. 0.0588235: 627 lighter
   . _7 B4 w+ {3 z
5. 0.0352941: 701 ** towel

复制代码

; O3 j; S0 {6 M7 ^0 z; Y8 h
* L4 Y) N1 n6 i" @* Q

* p% q3 T1 J: d

1. 0.121569: 656 miniskirt
   1 w0 G8 r8 U; M; F0 W
2. 0.054902: 835 suit
   
3. 0.0470588: 852 television
   ( r0 Z; c- q' d! U2 o8 R9 F, O) s: F
4. 0.0470588: 440 bearskin
   
5. 0.0392157: 679 neck brace

复制代码

, j' e) s0 L; a. p

1. 0.65098: 918 comic book
   
2. 0.172549: 747 puck
   
3. 0.0196078: 922 book jacket
   + E. r, ]+ A9 M0 j& p" [  x* w0 W/ N
4. 0.0196078: 723 ping-pong ball
   ; N8 c  Z% Q; W
5. 0.0117647: 806 soccer ball
   

复制代码

* \& z0 R" V+ W1 \5 J

  [2 ^3 Q" ^# K6 B- ^, ]

1. 
   5 n: s5 V+ ^$ u! U" x
2. 0.678431: 918 comic book
   
3. 0.0784314: 418 balloon
   
4. 0.0470588: 880 umbrella
   & w& Q: p/ C" A& T% ]
5. 0.0470588: 722 pillow
     X+ T' r7 K, D. A# F& N0 G
6. 0.0156863: 644 mask

复制代码

, ^  ?" [; x. v9 x. s

! G. U! e! L4 a. h3 w8 Y' A

1. 0.184314: 585 hair slide
   " r: ~: O% E4 s2 ?, g
2. 0.156863: 794 shower cap
   . G: N* C2 A* j7 R* d& ^: [
3. 0.0941176: 797 ski mask
   
4. 0.0431373: 644 mask
   & ]8 \$ z/ V  u: ^2 g# o
5. 0.0352941: 571 gasmask

复制代码

十张图片的识别结果均以编码方式呈现，从识别的概率结果来看，飞凌的这款 iMX8MP 开发板的NPU的算力还是非常强的。

$ g/ ?. s( W) W9 j. L2 g

据官方介绍，i.MX 8M Plus处理器内置NPU，可达到2.3 TOPS（Tera Operations Per Second，1TOPS代表处理器每秒钟可进行一万亿次操作）算术处理，并实现先进的AI算法处理。并且NXP为i.MX 8M Plus处理器的NPU提供了一些特定用例，例如能够处理40,000多个英文单词，MobileNet v1模型可以每秒处理超过500张图像的图像分类。

原文链接：https://www.forlinx.com/article_view_809.html

iMX8MPlus 核心板： https://www.forlinx.com/product/136.html

3 F0 s' G0 F) ^& l