发烧友实测 | iMX8MP开发板移植官方NPU TensorFlow例程

飞凌-marketing

作者｜donatello1996

来源 | 电子发烧友

题图｜飞凌嵌入式

原文链接：https://www.forlinx.com/article_view_809.html

iMX8MPlus 核心板： https://www.forlinx.com/product/136.html

1 W# V9 I0 `$ l" J: H

飞凌嵌入式OKMX8MP-C开发板基于NXP i.MX 8M Plus处理器开发设计，该系列处理器专注于机器学习与视觉、高级多媒体以及具有高可靠性的工业自动化。旨在满足智慧城市、工业互联网、智能医疗、智慧交通等应用的需求。强大的四核或双核Arm® Cortex®-A53处理器，主频高达1.6GHz，带有神经处理单元(NPU)，最高运行速率可达2.3TOPS。

本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板，系统版本Linux5.4.70+Qt5.15.0，主要介绍移植官方NPU TensorFlow例程。

* I. w, _4 @( b) U1 G

一、 NPU的图像识别例程

在OKMX8MP-C 开发板提供的产品使用手册中，有一章是针对 iMX8MP 板上NPU的图像识别例程，位于EMMC分区的/usr/bin/tensoRFlow-lite-2.3.1/examples，我将EMMC分区mount为了/media分区，找到对应的例程位置。

  S$ ^6 @, E7 @/ E

) i( J% g- Q+ g& w0 i

将 iMX8MP 开发板切换到EMMC启动，进入/usr/bin/tensorflow-lite-2.3.1/examples/目录下，运行测试example：

再将 iMX8MP 开发板切回TF卡系统运行，提示报错，label_image程序的nnapi需要动态链接库支持：

/ b$ w" ?# i4 [- v/ R

1. libm-2.30.so
   
2. libneuralnetworks.so.1.1.9
   3 g  W8 y/ A( t
3. libnnrt.so.1.1.9
   
4. libArchModelSw.so
   ) K: E6 s7 I+ d+ z' u2 r
5. libGAL.so
   
6. libNNArchPerf.so
   
7. libOpenVX.so.1.3.0
   + K: M) ?9 |' v# z% e3 a
8. libovxlib.so.1.1.0
   
9. libVSC.so

复制代码

  c4 P2 ^  y# L) E& A5 B$ W
& b* y) p% O/ }: t, L  \

其中libm-2.30.so被链接为ld-linux-aarch64.so.1，位于/usr/lib/aarch64-linux-gnu/目录下，若在移植后的目标系统的/usr/lib/aarch64-linux-gnu/下没有该库文件的话，是会在运行时提示报错的。将上述所有动态链接库复制到正确位置(/usr/lib和/usr/lib/aarch64-linux-gnu/)，再次运行：

4 |& x0 |0 |; `' p' Z2 e* L% |7 d

可以看到没有任何报错，运行库环境移植成功，接下来可以在 iMX8MP 开发板上愉快地进行tensorflow例程的玩耍了。

二、TensorFlow例程验证

飞凌嵌入式iMX8MP官方资料中提供了许多测试例程，先用官方DEMO做一下验证，其验证结果如下。

" b6 E* b& n) u9 _4 |- w+ Y

1. 0.780392: 653 military unIForm
   5 O8 `' m) l9 A- V( M
2. 0.105882: 907 Windsor tie
   6 G9 x  Q5 V/ ~& I7 p6 K! G
3. 0.0156863: 458 bow tie
   + Q0 M# X; O7 }
4. 0.0117647: 466 bulletproof vest
   
5. 0.00784314: 835 suit

复制代码

9 b" H' L: J. ~8 F

78%结果吻合陆军制服，10%结果吻合温莎领带，1%结果吻合领结，1%结果吻合防弹背心，不到1%结果吻合西装，总的来说这个结果还是挺令人满意的，NPU的算力确实还可以，多次运行程序，得出的结果完全相同，说明 iMX8MP NPU计算时使用的是固定的/静态的图像识别库。

我这边突发奇想，用这个Demo去测一下我自己的论坛头像，看看结果：

% m+ p" x& l; Z2 M/ [
  [. e" T  D2 M2 e, W

, [: E# Q0 |% N* P7 S( Y, E4 i

1. 0.352941: 274 dingo
   / i% I* q9 E7 u1 n
2. 0.254902: 265 Cardigan
   
3. 0.184314: 264 Pembroke
   4 t( g0 R5 Y% R7 v# l1 ?  c  s9 ?6 ?' A
4. 0.0666667: 163 beagle
   
5. 0.0156863: 354 gazelle

复制代码

7 M4 O3 X; k/ K! t- g) R4 l
35%的野狗，25%的毛衣，18%的Pembroke？？？，6%的小猎犬（beagle），1%的羚羊，看到羚羊（gazelle）我属实蚌埠住了，哈哈。
) N- \* G+ l/ r6 N; R! T( V) ]
* ]6 j3 s1 G4 [' E1 S9 H' ]) f

再来试试另外几张图片，为了检验iMX8MP NPU的人工智能算力到底行不行，集齐了十张图，豪华尊享。由于源码不开放，所以无法移植源码到自己的例程中：

* W) ~- T# ?; F4 a9 l9 A

1. 0.160784: 639 maillot
   
2. 0.137255: 436 bathtub
   & t$ B: M: q1 S4 c+ E0 U- F3 o8 A, X
3. 0.117647: 886 velvet
   ! C+ O+ W8 k1 \3 K
4. 0.0705882: 586 hair spray
   
5. 0.0509804: 440 bearskin

复制代码

: T) v9 s9 n) }

1. 0.972549: 644 mask
   
2. 0.00392157: 918 comic book
   1 C) t+ a( `1 G
3. 0.00392157: 904 wig
   
4. 0.00392157: 797 ski mask
   ' m# O- W4 {( m9 P+ l! d, J2 H7 O
5. 0.00392157: 732 plunger
   

复制代码

4 e3 p, }- c" y4 y1 W4 x2 D

! F+ n" x# K7 C# ?# Z

1. 0.380392: 583 grocery store
   4 W, t9 q- i: d7 {4 J
2. 0.321569: 957 custard apple
   
3. 0.0862745: 955 banana
   
4. 0.0352941: 956 jackfruit
   # j4 @4 ], }& R! ]
5. 0.027451: 954 pineapple

复制代码

0 o4 L0 b. ~* r5 r% m

" x' ~7 t  p" R1 b! o

1. 0.254902: 918 comic book
   
2. 0.0470588: 771 running shoe
   
3. 0.0470588: 474 can opener
   
4. 0.0470588: 412 apron
   
5. 0.0392157: 794 shower cap

复制代码

( J# s8 X  w  m8 q3 z  o
. M8 h! X4 ~7 _. n; l! D# u

1. 0.52549: 922 book jacket
   
2. 0.0705882: 788 shield
   0 X4 k# h3 c% M- F1 I* p
3. 0.0705882: 452 bolo tie
   ' ^" a1 f/ @8 f
4. 0.0588235: 627 lighter
   
5. 0.0352941: 701 ** towel

复制代码

! M( J' L# ?# b: i
2 {6 e& h0 b  m8 b+ P/ o

1. 0.121569: 656 miniskirt
   $ s+ [7 Q  I% _9 _. f; c
2. 0.054902: 835 suit
   / R" I& y* b1 R1 M
3. 0.0470588: 852 television
   + B  l- n4 z3 A, z) O
4. 0.0470588: 440 bearskin
   
5. 0.0392157: 679 neck brace

复制代码

1. 0.65098: 918 comic book
   
2. 0.172549: 747 puck
   / ?) `1 K( U# T' A: f- a- @
3. 0.0196078: 922 book jacket
   ' F1 j) p0 G, ?& V) S
4. 0.0196078: 723 ping-pong ball
   
5. 0.0117647: 806 soccer ball
   

复制代码

% F! e; H. H# l" d8 v1 u5 K4 B

  {& C- z# o; Y

1. 
   + b) z& V( c/ S
2. 0.678431: 918 comic book
   $ Q( D& {# g- v" }
3. 0.0784314: 418 balloon
   2 }) P& [3 l! _% R5 w6 U6 M; B
4. 0.0470588: 880 umbrella
   
5. 0.0470588: 722 pillow
   ' o7 a' @7 f+ d1 j# f4 W
6. 0.0156863: 644 mask

复制代码

& p1 L: O/ H9 r/ r* X( }

1. 0.184314: 585 hair slide
     p3 S5 w( p2 Z9 l9 U8 _- p7 o
2. 0.156863: 794 shower cap
   6 O% w, S  Z  Z
3. 0.0941176: 797 ski mask
   4 o3 M0 X6 H. \; P" R6 y5 c
4. 0.0431373: 644 mask
   
5. 0.0352941: 571 gasmask

复制代码

$ g" l' m) }: E3 g: o

十张图片的识别结果均以编码方式呈现，从识别的概率结果来看，飞凌的这款 iMX8MP 开发板的NPU的算力还是非常强的。

据官方介绍，i.MX 8M Plus处理器内置NPU，可达到2.3 TOPS（Tera Operations Per Second，1TOPS代表处理器每秒钟可进行一万亿次操作）算术处理，并实现先进的AI算法处理。并且NXP为i.MX 8M Plus处理器的NPU提供了一些特定用例，例如能够处理40,000多个英文单词，MobileNet v1模型可以每秒处理超过500张图像的图像分类。

原文链接：https://www.forlinx.com/article_view_809.html

iMX8MPlus 核心板： https://www.forlinx.com/product/136.html