发烧友实测 | iMX8MP开发板移植官方NPU TensorFlow例程

飞凌-marketing

, c0 L9 P9 ^/ g! o/ A# s

作者｜donatello1996

来源 | 电子发烧友

题图｜飞凌嵌入式

原文链接：https://www.forlinx.com/article_view_809.html

iMX8MPlus 核心板： https://www.forlinx.com/product/136.html

; Q. d1 n& Q& \

飞凌嵌入式OKMX8MP-C开发板基于NXP i.MX 8M Plus处理器开发设计，该系列处理器专注于机器学习与视觉、高级多媒体以及具有高可靠性的工业自动化。旨在满足智慧城市、工业互联网、智能医疗、智慧交通等应用的需求。强大的四核或双核Arm® Cortex®-A53处理器，主频高达1.6GHz，带有神经处理单元(NPU)，最高运行速率可达2.3TOPS。

6 o% M) {. X$ [2 v8 h8 o, p

本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板，系统版本Linux5.4.70+Qt5.15.0，主要介绍移植官方NPU TensorFlow例程。

) V* E* i5 g4 w0 U* H1 O9 Z; }

一、 NPU的图像识别例程

在OKMX8MP-C 开发板提供的产品使用手册中，有一章是针对 iMX8MP 板上NPU的图像识别例程，位于EMMC分区的/usr/bin/tensoRFlow-lite-2.3.1/examples，我将EMMC分区mount为了/media分区，找到对应的例程位置。

( ]8 m9 O; F/ W

* c" g" Q$ ^( g
- P  X5 M& l8 [' D. {

将 iMX8MP 开发板切换到EMMC启动，进入/usr/bin/tensorflow-lite-2.3.1/examples/目录下，运行测试example：

再将 iMX8MP 开发板切回TF卡系统运行，提示报错，label_image程序的nnapi需要动态链接库支持：

- T! _3 c+ X- v7 z  e+ e! ~- L

$ }  X7 i( Z- [- V/ D, f7 d+ r

1. libm-2.30.so
   
2. libneuralnetworks.so.1.1.9
   6 q( [# Z! p5 _, n' X& u& v
3. libnnrt.so.1.1.9
     r' ~) j( T$ c, u- i! J, l7 Z: {
4. libArchModelSw.so
   
5. libGAL.so
   9 z! n( v. @. P  j
6. libNNArchPerf.so
   
7. libOpenVX.so.1.3.0
   
8. libovxlib.so.1.1.0
   - P( c6 ?, M: \2 p5 W/ K4 p
9. libVSC.so

复制代码

# M' s4 ~: ^: d: u" E

其中libm-2.30.so被链接为ld-linux-aarch64.so.1，位于/usr/lib/aarch64-linux-gnu/目录下，若在移植后的目标系统的/usr/lib/aarch64-linux-gnu/下没有该库文件的话，是会在运行时提示报错的。将上述所有动态链接库复制到正确位置(/usr/lib和/usr/lib/aarch64-linux-gnu/)，再次运行：

' k) \: \1 X& P+ G2 ]' s$ W

" j$ b* X' v* }& x( @

可以看到没有任何报错，运行库环境移植成功，接下来可以在 iMX8MP 开发板上愉快地进行tensorflow例程的玩耍了。

二、TensorFlow例程验证

飞凌嵌入式iMX8MP官方资料中提供了许多测试例程，先用官方DEMO做一下验证，其验证结果如下。

1. 0.780392: 653 military unIForm
   2 K* W  j' {8 N- w
2. 0.105882: 907 Windsor tie
   
3. 0.0156863: 458 bow tie
   . n& p- ~! W, A1 ?- K% @, ?
4. 0.0117647: 466 bulletproof vest
   
5. 0.00784314: 835 suit

复制代码

3 @+ c/ [4 b- w& q  }7 `

78%结果吻合陆军制服，10%结果吻合温莎领带，1%结果吻合领结，1%结果吻合防弹背心，不到1%结果吻合西装，总的来说这个结果还是挺令人满意的，NPU的算力确实还可以，多次运行程序，得出的结果完全相同，说明 iMX8MP NPU计算时使用的是固定的/静态的图像识别库。

我这边突发奇想，用这个Demo去测一下我自己的论坛头像，看看结果：

- A. l8 @; C$ M

" p4 ~0 ~1 c* g  Z6 R! {5 U4 ^

1. 0.352941: 274 dingo
   
2. 0.254902: 265 Cardigan
   
3. 0.184314: 264 Pembroke
   
4. 0.0666667: 163 beagle
   
5. 0.0156863: 354 gazelle

复制代码

# T2 t- e' b" z
35%的野狗，25%的毛衣，18%的Pembroke？？？，6%的小猎犬（beagle），1%的羚羊，看到羚羊（gazelle）我属实蚌埠住了，哈哈。

再来试试另外几张图片，为了检验iMX8MP NPU的人工智能算力到底行不行，集齐了十张图，豪华尊享。由于源码不开放，所以无法移植源码到自己的例程中：

3 s3 {, u/ H. K1 D& {7 K

1. 0.160784: 639 maillot
   
2. 0.137255: 436 bathtub
   
3. 0.117647: 886 velvet
   + g6 R! o8 y( L  {4 u2 k& k! q
4. 0.0705882: 586 hair spray
   
5. 0.0509804: 440 bearskin

复制代码

2 W) e: ]: @; @4 z4 K4 @' ?9 q0 Z

, n& x: C9 N( S+ W. o  K

1. 0.972549: 644 mask
   : x7 E. A! M1 A5 u0 \
2. 0.00392157: 918 comic book
   
3. 0.00392157: 904 wig
   
4. 0.00392157: 797 ski mask
   
5. 0.00392157: 732 plunger
   , K. F  M( C) K) g8 t

复制代码

1. 0.380392: 583 grocery store
   3 B" H# e9 v( m, }- g/ R9 T
2. 0.321569: 957 custard apple
   
3. 0.0862745: 955 banana
   
4. 0.0352941: 956 jackfruit
   
5. 0.027451: 954 pineapple

复制代码

& |2 A3 u# ]- a$ {' H" W: v

, W  [4 _/ Z" q. ~( {1 C2 E( a9 E

1. 0.254902: 918 comic book
   8 b& h* {2 x( m! ^; T% g
2. 0.0470588: 771 running shoe
   5 x1 G" v4 p- p" g, L5 q
3. 0.0470588: 474 can opener
   
4. 0.0470588: 412 apron
   
5. 0.0392157: 794 shower cap

复制代码

% J% w, e, d) f; b9 ?9 i! P

1. 0.52549: 922 book jacket
   5 m3 d+ x; o6 k: B
2. 0.0705882: 788 shield
   3 p1 U( x  H  H6 n/ Y. k0 K- e
3. 0.0705882: 452 bolo tie
   5 x/ Y. K& p3 A& n+ W
4. 0.0588235: 627 lighter
   5 F) f/ l/ n+ D# ?- [2 H
5. 0.0352941: 701 ** towel

复制代码

3 X1 p: A* R" O. \8 p* V9 Y
; I8 {+ |$ H( x  z7 Z5 U3 p/ E

% x6 r: R( {6 K% }, @! e, J$ E

1. 0.121569: 656 miniskirt
   / Z4 _( i+ o5 {* C, h# B
2. 0.054902: 835 suit
   
3. 0.0470588: 852 television
   
4. 0.0470588: 440 bearskin
   # ]: ?( o+ `# w. F$ z
5. 0.0392157: 679 neck brace

复制代码

3 G9 ^' Q' v  Z* Q7 O

1. 0.65098: 918 comic book
   & h. s8 e) N3 O# ?! c& F9 a% J
2. 0.172549: 747 puck
   
3. 0.0196078: 922 book jacket
   
4. 0.0196078: 723 ping-pong ball
   % i7 T7 p4 c, ~7 z1 I/ N2 V: H
5. 0.0117647: 806 soccer ball
   0 c* @; d& x7 w9 K* {' X$ F# V

复制代码

# g+ p4 l" F# A" a' ~
7 w3 y9 O  P1 h5 k

1. 
   
2. 0.678431: 918 comic book
   
3. 0.0784314: 418 balloon
   + x  |; V7 }" e; ~& L6 o
4. 0.0470588: 880 umbrella
   ( `. L$ e1 y& E3 y4 Q
5. 0.0470588: 722 pillow
   
6. 0.0156863: 644 mask

复制代码

7 h6 s. s8 s7 q

1. 0.184314: 585 hair slide
   
2. 0.156863: 794 shower cap
   ( j% X+ T+ F* y( b: a* |3 J
3. 0.0941176: 797 ski mask
   , y; y% Q* m2 F. {( D; I, _. p" ]
4. 0.0431373: 644 mask
     f, Z+ A9 W( D; Q/ P6 V& l& M' r
5. 0.0352941: 571 gasmask

复制代码

5 W, a" D" w! }3 Q8 C" R, l7 X; `

十张图片的识别结果均以编码方式呈现，从识别的概率结果来看，飞凌的这款 iMX8MP 开发板的NPU的算力还是非常强的。

据官方介绍，i.MX 8M Plus处理器内置NPU，可达到2.3 TOPS（Tera Operations Per Second，1TOPS代表处理器每秒钟可进行一万亿次操作）算术处理，并实现先进的AI算法处理。并且NXP为i.MX 8M Plus处理器的NPU提供了一些特定用例，例如能够处理40,000多个英文单词，MobileNet v1模型可以每秒处理超过500张图像的图像分类。

原文链接：https://www.forlinx.com/article_view_809.html

iMX8MPlus 核心板： https://www.forlinx.com/product/136.html

, w6 p) z# a- y7 ^! U