发烧友实测 | iMX8MP开发板移植官方NPU TensorFlow例程

飞凌-marketing · 发表于 2022-1-27 10:59:04

作者｜donatello1996

来源 | 电子发烧友

原文链接：https://www.forlinx.com/article_view_809.html

iMX8MPlus 核心板： https://www.forlinx.com/product/136.html

飞凌嵌入式OKMX8MP-C 开发板基于NXP i.MX 8M Plus处理器开发设计，该系列处理器专注于机器学习与视觉、高级多媒体以及具有高可靠性的工业自动化。旨在满足智慧城市、工业互联网、智能医疗、智慧交通等应用的需求。强大的四核或双核Arm® Cortex®-A53处理器，主频高达1.6GHz，带有神经处理单元(NPU)，最高运行速率可达2.3TOPS。

本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板，系统版本Linux5.4.70+Qt5.15.0，主要介绍移植官方NPU TensorFlow例程。

一、 NPU的图像识别例程

在OKMX8MP-C 开发板提供的产品使用手册中，有一章是针对 iMX8MP 板上NPU的图像识别例程，位于EMMC分区的/usr/bin/tensoRFlow-lite-2.3.1/examples，我将EMMC分区mount为了/media分区，找到对应的例程位置。

将 iMX8MP 开发板切换到EMMC启动，进入/usr/bin/tensorflow-lite-2.3.1/examples/目录下，运行测试example：

再将 iMX8MP 开发板切回TF卡系统运行，提示报错，label_image程序的nnapi需要动态链接库支持：

libm-2.30.so" {1 S, V: W3 a+ r( R; \' j
libneuralnetworks.so.1.1.9
: ?/ P9 B; w7 H
libnnrt.so.1.1.9( d3 R8 e6 Z7 f* a
libArchModelSw.so
( N4 W+ Y `: h4 w2 t
libGAL.so
. h& @5 _( x( p% u1 W
libNNArchPerf.so
& V( |8 @" ?+ I7 c; C
libOpenVX.so.1.3.0
2 V! e: R6 Q8 f' y4 J, J) l
libovxlib.so.1.1.0
" u J0 M# c+ x& W0 t
libVSC.so

复制代码

其中libm-2.30.so被链接为ld-linux-aarch64.so.1，位于/usr/lib/aarch64-linux-gnu/目录下，若在移植后的目标系统的/usr/lib/aarch64-linux-gnu/下没有该库文件的话，是会在运行时提示报错的。将上述所有动态链接库复制到正确位置(/usr/lib和/usr/lib/aarch64-linux-gnu/)，再次运行：

可以看到没有任何报错，运行库环境移植成功，接下来可以在 iMX8MP 开发板上愉快地进行tensorflow例程的玩耍了。

二、TensorFlow例程验证

飞凌嵌入式iMX8MP官方资料中提供了许多测试例程，先用官方DEMO做一下验证，其验证结果如下。

0.780392: 653 military unIForm
6 s! i1 ^ I S+ |# {
0.105882: 907 Windsor tie
- C* _9 a( B; p0 d: J
0.0156863: 458 bow tie
5 b) _; l- y; F; J1 S$ B
0.0117647: 466 bulletproof vest
T9 \0 L+ A/ B# d0 t9 ]3 y
0.00784314: 835 suit

复制代码

78%结果吻合陆军制服，10%结果吻合温莎领带，1%结果吻合领结，1%结果吻合防弹背心，不到1%结果吻合西装，总的来说这个结果还是挺令人满意的，NPU的算力确实还可以，多次运行程序，得出的结果完全相同，说明 iMX8MP NPU计算时使用的是固定的/静态的图像识别库。

我这边突发奇想，用这个Demo去测一下我自己的论坛头像，看看结果：

. a( p3 ^ Q6 L+ F+ f% W: v4 r1 d' L

% v1 n) v1 r' _9 s2 C

0.352941: 274 dingo
) Q6 G/ e, B* C k- V/ i" `- @
0.254902: 265 Cardigan
2 B4 X8 |" u) z) G6 w$ H- u% D; b2 V0 }
0.184314: 264 Pembroke1 v5 y! ^9 Z* p( j. @
0.0666667: 163 beagle. l6 t5 _1 j2 N" u4 v
0.0156863: 354 gazelle

复制代码

35%的野狗，25%的毛衣，18%的Pembroke？？？，6%的小猎犬（beagle），1%的羚羊，看到羚羊（gazelle）我属实蚌埠住了，哈哈。

再来试试另外几张图片，为了检验iMX8MP NPU的人工智能算力到底行不行，集齐了十张图，豪华尊享。由于源码不开放，所以无法移植源码到自己的例程中：

' r0 B, F6 D! k+ b+ f# G* t

0.160784: 639 maillot
6 o4 N, H- x" }' Y6 E2 `5 U
0.137255: 436 bathtub
0 H$ _! {3 E% |3 ?" T
0.117647: 886 velvet( Z. z6 k4 @6 A, z+ i/ y
0.0705882: 586 hair spray9 t9 |' T5 W$ }3 L$ L
0.0509804: 440 bearskin

复制代码

0.972549: 644 mask$ @' t; I- B$ O, f0 S9 u- Z* e+ [
0.00392157: 918 comic book9 N. Q! F' S: B( ]# m
0.00392157: 904 wig) u5 Z/ d2 D; U. L) B
0.00392157: 797 ski mask
8 f# R6 N% |: {1 z' Z% h
0.00392157: 732 plunger3 [2 e2 A! V+ K" d! {- h; `

复制代码

0.380392: 583 grocery store
% l+ c6 B6 W9 l. [& {! D
0.321569: 957 custard apple' `! r3 o; E0 ^3 U. h
0.0862745: 955 banana. q, r4 m( o) r$ ~( y' H7 o) V
0.0352941: 956 jackfruit h: O1 Q! }% p; u# X% X4 T
0.027451: 954 pineapple

复制代码

0.254902: 918 comic book
& R1 T% |0 O0 _7 U/ S# t' b
0.0470588: 771 running shoe7 X* [6 E3 H; [( T8 `: n7 |# M
0.0470588: 474 can opener8 `6 \1 z4 Q i
0.0470588: 412 apron
- Y$ j' j$ Y6 B- Q8 W) q. Q. C& u/ F
0.0392157: 794 shower cap

复制代码

0.52549: 922 book jacket
7 s1 {" i1 d2 g/ ]0 p9 A6 a
0.0705882: 788 shield
+ J! f* ~6 o% F5 i5 t
0.0705882: 452 bolo tie& s& K$ O* T, @
0.0588235: 627 lighter
2 |* T. e1 r4 ^ b
0.0352941: 701 ** towel

复制代码

0.121569: 656 miniskirt
/ @# J/ T) o2 l, ~
0.054902: 835 suit
1 @4 ]. N9 f/ k$ v) A
0.0470588: 852 television
) b; G6 @4 X6 \2 n1 F# E9 X% b
0.0470588: 440 bearskin
; p0 O& n1 u6 ~' I
0.0392157: 679 neck brace

复制代码

0.65098: 918 comic book0 h% \) ?/ }& { a! ?
0.172549: 747 puck( I; K- S$ Y8 {9 D
0.0196078: 922 book jacket# y! ~8 ^( r$ Q2 H$ ~7 y! n/ R
0.0196078: 723 ping-pong ball/ H8 e- v; u9 E, v- D
0.0117647: 806 soccer ball
9 i* }6 U {# g

复制代码

2 p6 q1 z1 O- P+ W
0.678431: 918 comic book2 O6 D/ m5 R9 x& s/ y1 `: ^
0.0784314: 418 balloon; J8 _3 X( z) C; l1 t; n
0.0470588: 880 umbrella
4 M1 M) p/ y* O. b5 I( J6 f
0.0470588: 722 pillow5 ~! e; y$ f8 Q, ~% B
0.0156863: 644 mask

复制代码

0.184314: 585 hair slide1 }1 g& l! }# v
0.156863: 794 shower cap
4 N3 @9 C. \. | a4 z
0.0941176: 797 ski mask
; z' D" \$ w3 O: `5 q6 c$ a
0.0431373: 644 mask
5 Y4 }. ]" H; Z2 `
0.0352941: 571 gasmask

复制代码

十张图片的识别结果均以编码方式呈现，从识别的概率结果来看，飞凌的这款 iMX8MP 开发板的NPU的算力还是非常强的。

据官方介绍，i.MX 8M Plus处理器内置NPU，可达到2.3 TOPS（Tera Operations Per Second，1TOPS代表处理器每秒钟可进行一万亿次操作）算术处理，并实现先进的AI算法处理。并且NXP为i.MX 8M Plus处理器的NPU提供了一些特定用例，例如能够处理40,000多个英文单词，MobileNet v1模型可以每秒处理超过500张图像的图像分类。

原文链接：https://www.forlinx.com/article_view_809.html

iMX8MPlus 核心板： https://www.forlinx.com/product/136.html

[帮助] 发烧友实测 | iMX8MP开发板移植官方NPU TensorFlow例程