发烧友实测 | iMX8MP开发板移植官方NPU TensorFlow例程

飞凌-marketing · 发表于 2022-1-27 10:59:04

作者｜donatello1996

来源 | 电子发烧友

原文链接：https://www.forlinx.com/article_view_809.html

iMX8MPlus 核心板： https://www.forlinx.com/product/136.html

飞凌嵌入式OKMX8MP-C 开发板基于NXP i.MX 8M Plus处理器开发设计，该系列处理器专注于机器学习与视觉、高级多媒体以及具有高可靠性的工业自动化。旨在满足智慧城市、工业互联网、智能医疗、智慧交通等应用的需求。强大的四核或双核Arm® Cortex®-A53处理器，主频高达1.6GHz，带有神经处理单元(NPU)，最高运行速率可达2.3TOPS。

本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板，系统版本Linux5.4.70+Qt5.15.0，主要介绍移植官方NPU TensorFlow例程。

一、 NPU的图像识别例程

在OKMX8MP-C 开发板提供的产品使用手册中，有一章是针对 iMX8MP 板上NPU的图像识别例程，位于EMMC分区的/usr/bin/tensoRFlow-lite-2.3.1/examples，我将EMMC分区mount为了/media分区，找到对应的例程位置。

将 iMX8MP 开发板切换到EMMC启动，进入/usr/bin/tensorflow-lite-2.3.1/examples/目录下，运行测试example：

再将 iMX8MP 开发板切回TF卡系统运行，提示报错，label_image程序的nnapi需要动态链接库支持：

libm-2.30.so s+ H2 I; ?+ P( J Y7 i, }
libneuralnetworks.so.1.1.9
" l9 L$ y9 ~9 l) {
libnnrt.so.1.1.95 T4 l4 }0 Z8 T1 R% _
libArchModelSw.so- g2 O) G) ^1 D" x' O% U
libGAL.so
" j# H. \, D8 Z2 x" n0 j/ P
libNNArchPerf.so
! Q: v. Q) @8 F
libOpenVX.so.1.3.0
7 \: B6 r& \$ M e
libovxlib.so.1.1.0& _& n, W' w5 p" K2 r' N- \ H: T9 Z& V
libVSC.so

复制代码

其中libm-2.30.so被链接为ld-linux-aarch64.so.1，位于/usr/lib/aarch64-linux-gnu/目录下，若在移植后的目标系统的/usr/lib/aarch64-linux-gnu/下没有该库文件的话，是会在运行时提示报错的。将上述所有动态链接库复制到正确位置(/usr/lib和/usr/lib/aarch64-linux-gnu/)，再次运行：

可以看到没有任何报错，运行库环境移植成功，接下来可以在 iMX8MP 开发板上愉快地进行tensorflow例程的玩耍了。

二、TensorFlow例程验证

飞凌嵌入式iMX8MP官方资料中提供了许多测试例程，先用官方DEMO做一下验证，其验证结果如下。

0.780392: 653 military unIForm/ y) @1 p& E* Q% X0 L
0.105882: 907 Windsor tie- B2 c4 i2 I: K' H4 q/ s
0.0156863: 458 bow tie
0 r; q% V9 r" V! C# ], e
0.0117647: 466 bulletproof vest+ ~# O% E' ~3 r8 \' C! L
0.00784314: 835 suit

复制代码

78%结果吻合陆军制服，10%结果吻合温莎领带，1%结果吻合领结，1%结果吻合防弹背心，不到1%结果吻合西装，总的来说这个结果还是挺令人满意的，NPU的算力确实还可以，多次运行程序，得出的结果完全相同，说明 iMX8MP NPU计算时使用的是固定的/静态的图像识别库。

我这边突发奇想，用这个Demo去测一下我自己的论坛头像，看看结果：

" |* r+ t) Z6 Q6 t- U: n# u# O

) M7 s, K X* r m7 w* v

0.352941: 274 dingo- R+ c0 e% W1 j! }
0.254902: 265 Cardigan6 y, P9 q8 o4 X5 E
0.184314: 264 Pembroke; m# R+ d5 j: s& e6 p: E) J% `
0.0666667: 163 beagle9 G/ |, v/ ]% L# A7 g4 E4 F
0.0156863: 354 gazelle

复制代码

35%的野狗，25%的毛衣，18%的Pembroke？？？，6%的小猎犬（beagle），1%的羚羊，看到羚羊（gazelle）我属实蚌埠住了，哈哈。

再来试试另外几张图片，为了检验iMX8MP NPU的人工智能算力到底行不行，集齐了十张图，豪华尊享。由于源码不开放，所以无法移植源码到自己的例程中：

% P/ s# ]4 R* z& t) y

0.160784: 639 maillot
0 B H$ s' D* q: _* a3 ?
0.137255: 436 bathtub, W9 {" a7 s4 @; A. a$ Q7 I; U |1 I/ ~
0.117647: 886 velvet
' ?2 O& P* q0 S; H. g. M0 h
0.0705882: 586 hair spray
. H, u: p% V. [! J; J1 _
0.0509804: 440 bearskin

复制代码

0.972549: 644 mask
2 s$ k/ P! o; `" w# h3 v3 Y
0.00392157: 918 comic book% W. C+ n% i7 }( `( V/ k; U
0.00392157: 904 wig
0 e3 z, G6 F6 a
0.00392157: 797 ski mask- e; b5 O( U) Z
0.00392157: 732 plunger
, K& z1 d+ P& D* _# V6 \

复制代码

0.380392: 583 grocery store
2 y) J! g- j" i
0.321569: 957 custard apple
5 B" F3 h- N' `5 K
0.0862745: 955 banana
( @/ c" U& e$ i& n9 h3 G# s, ^
0.0352941: 956 jackfruit
X' h; K- o1 f) y2 h4 b* \
0.027451: 954 pineapple

复制代码

0.254902: 918 comic book9 H' s, ?4 ~) A' o. n0 P6 p
0.0470588: 771 running shoe
7 l6 ~6 Y; B4 W) N. {9 U
0.0470588: 474 can opener: C2 ^# @: p$ T+ Q2 |5 M& Z- k
0.0470588: 412 apron& m3 f9 [: \3 n# }7 q$ _" A3 D
0.0392157: 794 shower cap

复制代码

0.52549: 922 book jacket
- u1 |, E7 I- h2 e
0.0705882: 788 shield
2 u3 a8 Y, @! }! O" A
0.0705882: 452 bolo tie
@! {9 J8 a' N# k @' q
0.0588235: 627 lighter, H5 A k0 ~( f2 f
0.0352941: 701 ** towel

复制代码

0.121569: 656 miniskirt* T/ r5 Q" i9 f! Q
0.054902: 835 suit
) E( t0 Y$ r9 M. U
0.0470588: 852 television
3 a: X, D. G5 i9 O4 m: W
0.0470588: 440 bearskin
4 L3 s( x6 M& U$ T6 D7 {& i: J
0.0392157: 679 neck brace

复制代码

0.65098: 918 comic book
) F* b( Q1 X7 ?+ E, Q+ j
0.172549: 747 puck
1 A$ v% j( t/ k2 r! M
0.0196078: 922 book jacket
7 F: s% v' F: O* z/ S) I ]
0.0196078: 723 ping-pong ball% _( S) X# ^2 A/ w
0.0117647: 806 soccer ball
A8 H3 S" N+ D e" f7 }

复制代码

) U4 L; y; Z( P% v8 S1 e [
0.678431: 918 comic book
" v& X' u5 g* U' x" e1 N
0.0784314: 418 balloon, F6 _2 t4 o6 L: X4 d0 z
0.0470588: 880 umbrella8 }9 Z( k9 Q1 l" [6 K% {0 q
0.0470588: 722 pillow
! f. y4 d: N' H) a; D8 `% }
0.0156863: 644 mask

复制代码

0.184314: 585 hair slide
0 i$ P5 V1 A* j3 p' v# f
0.156863: 794 shower cap
0 l" p6 ~$ K7 F! F; A
0.0941176: 797 ski mask8 B4 o& u, o5 `) B9 t
0.0431373: 644 mask
! e _8 A. R1 n
0.0352941: 571 gasmask

复制代码

十张图片的识别结果均以编码方式呈现，从识别的概率结果来看，飞凌的这款 iMX8MP 开发板的NPU的算力还是非常强的。

据官方介绍，i.MX 8M Plus处理器内置NPU，可达到2.3 TOPS（Tera Operations Per Second，1TOPS代表处理器每秒钟可进行一万亿次操作）算术处理，并实现先进的AI算法处理。并且NXP为i.MX 8M Plus处理器的NPU提供了一些特定用例，例如能够处理40,000多个英文单词，MobileNet v1模型可以每秒处理超过500张图像的图像分类。

原文链接：https://www.forlinx.com/article_view_809.html

iMX8MPlus 核心板： https://www.forlinx.com/product/136.html

[帮助] 发烧友实测 | iMX8MP开发板移植官方NPU TensorFlow例程