发烧友实测 | iMX8MP开发板移植官方NPU TensorFlow例程

飞凌-marketing · 发表于 2022-1-27 10:59:04

作者｜donatello1996

来源 | 电子发烧友

原文链接：https://www.forlinx.com/article_view_809.html

iMX8MPlus 核心板： https://www.forlinx.com/product/136.html

飞凌嵌入式OKMX8MP-C 开发板基于NXP i.MX 8M Plus处理器开发设计，该系列处理器专注于机器学习与视觉、高级多媒体以及具有高可靠性的工业自动化。旨在满足智慧城市、工业互联网、智能医疗、智慧交通等应用的需求。强大的四核或双核Arm® Cortex®-A53处理器，主频高达1.6GHz，带有神经处理单元(NPU)，最高运行速率可达2.3TOPS。

本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板，系统版本Linux5.4.70+Qt5.15.0，主要介绍移植官方NPU TensorFlow例程。

一、 NPU的图像识别例程

在OKMX8MP-C 开发板提供的产品使用手册中，有一章是针对 iMX8MP 板上NPU的图像识别例程，位于EMMC分区的/usr/bin/tensoRFlow-lite-2.3.1/examples，我将EMMC分区mount为了/media分区，找到对应的例程位置。

将 iMX8MP 开发板切换到EMMC启动，进入/usr/bin/tensorflow-lite-2.3.1/examples/目录下，运行测试example：

再将 iMX8MP 开发板切回TF卡系统运行，提示报错，label_image程序的nnapi需要动态链接库支持：

libm-2.30.so
( P$ D4 H1 a& C# b$ P9 O4 }9 s
libneuralnetworks.so.1.1.9
) l6 d6 k% T5 d
libnnrt.so.1.1.9
8 R6 @+ R% i, Q1 o2 w
libArchModelSw.so
( g' m' V. p" `; q( v9 f3 P. e6 y/ o
libGAL.so
4 L+ i1 Q2 u! X# ^
libNNArchPerf.so
+ U9 [4 ^7 }% r; X$ U; b
libOpenVX.so.1.3.06 m' i/ Q3 s5 G4 X
libovxlib.so.1.1.0% I& F1 B; t( g7 e$ P( `' y# I5 V
libVSC.so

复制代码

其中libm-2.30.so被链接为ld-linux-aarch64.so.1，位于/usr/lib/aarch64-linux-gnu/目录下，若在移植后的目标系统的/usr/lib/aarch64-linux-gnu/下没有该库文件的话，是会在运行时提示报错的。将上述所有动态链接库复制到正确位置(/usr/lib和/usr/lib/aarch64-linux-gnu/)，再次运行：

可以看到没有任何报错，运行库环境移植成功，接下来可以在 iMX8MP 开发板上愉快地进行tensorflow例程的玩耍了。

二、TensorFlow例程验证

飞凌嵌入式iMX8MP官方资料中提供了许多测试例程，先用官方DEMO做一下验证，其验证结果如下。

0.780392: 653 military unIForm( r: Y4 [' \6 g) b
0.105882: 907 Windsor tie
5 z4 C. P# L& ?: J" e0 n
0.0156863: 458 bow tie
5 O+ V: h& f& q
0.0117647: 466 bulletproof vest5 w" O8 I1 |1 }* w$ m& j
0.00784314: 835 suit

复制代码

78%结果吻合陆军制服，10%结果吻合温莎领带，1%结果吻合领结，1%结果吻合防弹背心，不到1%结果吻合西装，总的来说这个结果还是挺令人满意的，NPU的算力确实还可以，多次运行程序，得出的结果完全相同，说明 iMX8MP NPU计算时使用的是固定的/静态的图像识别库。

我这边突发奇想，用这个Demo去测一下我自己的论坛头像，看看结果：

; K2 ^1 j8 e4 p' ^: {% Z

7 `6 q8 r% \$ p7 y) t

0.352941: 274 dingo3 i* A% [" j# _) X. b# Y
0.254902: 265 Cardigan
2 k) C E# N& [1 h; W4 l7 }: L
0.184314: 264 Pembroke
: y2 |, z8 u7 S( e) K; J1 I: o
0.0666667: 163 beagle
+ Q: _. V y9 M7 [: F
0.0156863: 354 gazelle

复制代码

35%的野狗，25%的毛衣，18%的Pembroke？？？，6%的小猎犬（beagle），1%的羚羊，看到羚羊（gazelle）我属实蚌埠住了，哈哈。

再来试试另外几张图片，为了检验iMX8MP NPU的人工智能算力到底行不行，集齐了十张图，豪华尊享。由于源码不开放，所以无法移植源码到自己的例程中：

- H+ C. ?: e4 {9 u

0.160784: 639 maillot
* C3 @0 `6 d& U1 ]9 X; v1 P/ A
0.137255: 436 bathtub+ V1 _+ |. _3 n7 E* Y# V, b; N
0.117647: 886 velvet- d' U+ f! {% Q9 w% q* Y7 X
0.0705882: 586 hair spray
& W P5 i8 v4 I4 d3 q
0.0509804: 440 bearskin

复制代码

0.972549: 644 mask
# e2 r7 y. \" j6 P. i
0.00392157: 918 comic book4 m( b2 u" N G+ {7 {: j- h
0.00392157: 904 wig5 W6 E( s I; Y
0.00392157: 797 ski mask8 T. w; u# _5 l3 _0 d
0.00392157: 732 plunger+ V% |6 a4 b7 _

复制代码

0.380392: 583 grocery store
; v9 \$ R5 q, f$ H
0.321569: 957 custard apple
: n. X7 C* D- T; U6 M. @1 s* v
0.0862745: 955 banana
* p! h' B" m/ O2 V8 D/ L/ K8 [
0.0352941: 956 jackfruit; c( J9 b! }5 K
0.027451: 954 pineapple

复制代码

0.254902: 918 comic book
2 z! s! ~1 B4 ~
0.0470588: 771 running shoe- F2 S7 w' y8 Q% }
0.0470588: 474 can opener
! e9 g" x5 z% ]7 ]9 c
0.0470588: 412 apron
! b5 ]0 Q) W; u4 j& z
0.0392157: 794 shower cap

复制代码

0.52549: 922 book jacket
7 s: e# o/ O- H# Y
0.0705882: 788 shield
. ?6 V6 k( f* q& w0 C
0.0705882: 452 bolo tie
7 @& o& K$ P* k$ v. R1 H3 Z
0.0588235: 627 lighter
/ \. P0 h1 z5 l4 g. a( Z
0.0352941: 701 ** towel

复制代码

0.121569: 656 miniskirt
# B6 J" @4 v. H& j- H! b9 S
0.054902: 835 suit/ Z$ I8 ^% x$ `& k/ _! E/ U5 C
0.0470588: 852 television
6 y0 B' E; j& m" S6 p1 Q4 B
0.0470588: 440 bearskin
1 O7 Q, B: n$ e( r& `9 }
0.0392157: 679 neck brace

复制代码

0.65098: 918 comic book
, v7 p, C# F6 n( U- [
0.172549: 747 puck$ j I% j- N6 z+ m
0.0196078: 922 book jacket I: o6 r. g6 n0 ?* \
0.0196078: 723 ping-pong ball5 E& I) f% h9 | L0 ?) |* ^0 z
0.0117647: 806 soccer ball
2 B w3 W1 a1 k4 R& |! f( Z

复制代码

/ O; ~/ u7 K$ _3 ^+ f
0.678431: 918 comic book# _. E% x* J' h
0.0784314: 418 balloon# Y- n3 w% t* f6 d, ^. Y" K1 x
0.0470588: 880 umbrella* j J% o5 }/ P4 V. X( u7 `
0.0470588: 722 pillow
" P J/ Y6 Z& E# [ W
0.0156863: 644 mask

复制代码

0.184314: 585 hair slide# I0 n0 q' u# Z7 g9 f4 |2 D
0.156863: 794 shower cap
& }' O S7 x/ {# D v
0.0941176: 797 ski mask0 }* d9 Z) x, Q$ z2 {
0.0431373: 644 mask* g1 {& {: b2 r9 n6 r
0.0352941: 571 gasmask

复制代码

十张图片的识别结果均以编码方式呈现，从识别的概率结果来看，飞凌的这款 iMX8MP 开发板的NPU的算力还是非常强的。

据官方介绍，i.MX 8M Plus处理器内置NPU，可达到2.3 TOPS（Tera Operations Per Second，1TOPS代表处理器每秒钟可进行一万亿次操作）算术处理，并实现先进的AI算法处理。并且NXP为i.MX 8M Plus处理器的NPU提供了一些特定用例，例如能够处理40,000多个英文单词，MobileNet v1模型可以每秒处理超过500张图像的图像分类。

原文链接：https://www.forlinx.com/article_view_809.html

iMX8MPlus 核心板： https://www.forlinx.com/product/136.html

[帮助] 发烧友实测 | iMX8MP开发板移植官方NPU TensorFlow例程