本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 3 U7 W; X9 m& D
0 ], f$ k0 ?" }! g

% p+ C+ W0 k0 S$ s( E! E作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html. _1 @( b# n( ~
( |% D+ q) s% [& V3 {; u
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。
3 g6 s7 `$ ]- [' k$ \
0 u" v$ G) V I [* o两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 2 {6 [. Q1 U6 A6 m: Z
一、HTTP网页服务器
0 a0 U# ^% }5 K- M" ? q. D# K- X$ @先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port), B8 O; R6 j, E+ t3 }1 b
- {. i9 [- [% J, b% \7 r0 j- A
- struct sockaddr_in servaddr;# _9 P$ J+ h7 [9 v; ^6 C4 R
- socklen_t addrsize = sizeof(struct sockaddr);
% b1 M, N' {7 S$ ]/ V& g - bzero(&servaddr , sizeof(servaddr));
6 _2 S" N2 U) {: D3 U, Q - servaddr.sin_family = AF_INET;
# v, L% j0 J/ V# r - servaddr.sin_addr.s_addr = inet_addr(ip);; d, ?# B- d% q& _8 |! f, J
- servaddr.sin_port = htons(port);' O, C" v) G" L8 y. p/ J: q a
- int ret;
( ]) C" l7 C9 T" {6 F) I# f - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
\$ z3 v0 u1 r - {" W1 z4 D0 U8 J! U) P6 d
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
% H& |2 r0 F. `9 _# y9 V/ Z- j( p/ V - return -1;
# @. H: M/ j6 J1 _+ O - }/ b! Y1 w! k* v$ I) P2 W
- int on = 1;
. V* W3 @* I5 h - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
( O6 }3 G: o! u& [4 T: g - {- O: h I4 A0 @% Y
- printf("setsockopt error\n");
) R! b, B- e. f# G# c1 T, K; ` - }; C5 b! [5 ]" S# u8 b5 ?& I
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);8 y- S8 z, m4 ^$ H4 b
- if(ret == -1)
$ S5 i# h2 j+ T. T7 k - {
) l$ d6 t. U" M# W - printf("Tcp bind faiLED!\n");
q! u0 b( ^ f: s - return -1;& j& `* X. X% p6 O/ k: y
- }$ @+ |/ q/ G+ G2 m: }3 ~) m; q% U
- if(listen(*socket_found , 5) == -1)% c+ P/ y. i8 R% X
- {( r; Q" A3 x4 a7 ` h& d1 [' B
- printf("Listen failed!\n");: R- p2 r! F$ k) S; n
- return -1;/ T8 F$ }. N2 g7 f) j4 _/ N. ~0 r7 C
- }
0 F) Y8 C4 F; b7 H4 c& n& {% H - return 0;
7 Q- Y% P# w5 F- d/ W7 \0 v - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);* c2 I/ a7 x" |7 n& W
- void * Thread_TCP_Web_Recv(void *arg)
$ J# n3 C7 J1 J2 N - {
; q$ {0 M+ p5 `$ ~$ G. ~- Q3 _ - 。。。
* c0 D, E( R2 }! Q7 u, T: h4 b - while(1)
% Q! q1 G8 i* p% l; _! d - {
; [+ r# q! b3 D% l$ R7 D% @. n - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);( |* g8 l/ R8 ?; V
- printf("fd_socket_conn = accept()\n");
7 f$ p4 y* g$ d/ X+ N - 。。。
- Q2 \4 \* y8 J0 h) I - recv(fd_socket_conn , recvbuf , 1000 , 0);
1 @, e, P$ w& ]& w* ?4 ~! u! D - }3 Z, j, _: R' C! X. |, S
- 。。。3 ^- N( ]& E. Q/ F3 E, r6 B
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);* W+ Z/ C2 `* P/ x s
- pic_tmpbuffer = pic.tmpbuffer;
# F* n; V: Y& s/ o& ] - pic.tmpbytesused = buff.bytesused;
- ]# W: M0 p' K; v$ m - pic_tmpbytesused = pic.tmpbytesused;) z, \1 l) B$ z! P- A5 g: @
- pthread_cond_broadcast(&pct);
1 _- D d* C/ w8 w) o - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
6 N G& v* z2 t' [# t$ J8 A4 h - pthread_cond_t pct;
# o& m! o5 k# d' n2 J2 S - int main(int argc, char* argv[])0 [7 }6 j6 e( G% {9 \
- {
/ q7 ?- E& y2 E, Y5 X- G - ...
; n$ P/ `. g7 f - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
' ~3 J F+ w% R* b - pthread_mutex_init(&pmt , NULL);% t# A+ p8 Z, y8 h0 j8 H
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
' h; S& I* @5 O" l. ^( s. m0 L - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);3 {6 ?8 I5 p/ `; U3 P
- ...
) \/ j# j7 o( S/ \4 F) k - while(1)1 }' K' F2 E/ a, d) L2 q. H# l
- {
* i' o% s: h D6 m' h% D - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);% n+ _& G" W( p
- ...
D$ |% N) {9 {% G - }
! a* F% u1 {& K1 U) e - ...4 M, G9 _+ I. T! g( s* J
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">4 m$ @9 ]0 g- s5 F2 P, ^
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
r6 p9 X" ]4 E3 j8 N- n, E - "Server: MJPG-Streamer/0.2\r\n" \
. s% R3 l4 c! s5 O- j9 b - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \6 Q$ H1 Y9 e8 M8 E3 z6 j0 \ x
- "Pragma: no-cache\r\n" \6 n7 u2 {: T' @" z* s
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
2 P' W Z( p. D( {: Q1 ]5 {5 O - #define BOUNDARY "boundarydonotcross"
' h; g; K2 w3 M5 G - printf("preparing header\n");
. Q# w4 p6 q: `( o1 y& _7 r - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
% G0 B4 |9 C8 E1 i4 m - "Access-Control-Allow-Origin: *\r\n" \
! S3 X r$ t# [/ x% a& ]2 b/ C; m - STD_HEADER \
1 Q8 X5 Q; {" e. b - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
6 O8 d2 d3 P4 k) T6 P - "\r\n" \1 W2 l) T6 s! K" J2 e; i
- "--" BOUNDARY "\r\n");
# h* C- a1 v4 A/ S |/ r6 B9 T - if(write(fd, buffer, strlen(buffer)) < 0)
2 X0 H4 ^; q$ Q, o$ K& q6 S# ~ - {
: @9 T$ x" G% D2 M$ e - free(frame);9 `2 Q7 r0 a% Y" X- k" f1 D. t8 T
- return;
& l4 y6 h, T0 g4 z: I% m1 y - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \6 T. H: t7 e4 b1 c$ q
- "Content-Length: %d\r\n" \0 T% P- ]0 B% {& o
- "X-Timestamp: %d.%06d\r\n" \
i$ U; b9 b# o" P4 X- \ - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);0 Q* S: U5 Y- J, O( @+ ~; t' n
- printf("sending intemdiate header\n");
4 y8 @# ` }. R, k8 ]- R - if(write(fd, buffer, strlen(buffer)) < 0)
+ ]1 `. g( ^, o# ^ - break;- b( b, Z0 S5 `$ H
- printf("sending frame\n");
5 d' ~; e9 u- l- b8 Z5 b! v - if(write(fd, frame, frame_size) < 0)3 ?2 \- Q/ t9 C6 f! R' i9 r- M
- break;1 s, T: Q5 q8 \+ w
- printf("sending boundary\n");
& h# U7 c+ J# l: ?5 O5 J. @! q - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");- N( M& A. q I9 c. J
- if(write(fd, buffer, strlen(buffer)) < 0)
, P; Z) b" N1 {4 Y - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
, _( ]6 `/ h2 t" G a# l& F) A7 w
) K! G7 q6 J/ Q J1 U二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
- Z: _# Z/ g0 N0 F% v8 w B- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
; N/ ~ H9 t+ M - {+ f' \0 z% [- `# V ~: T5 _
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);9 c: O0 A, P I
- if(*socket_found == (~0))1 k5 b9 r4 q2 }8 A6 k! g* K3 {& j
- {
! O8 W: Z" P8 i1 q% n, k1 e2 u) y - printf("Create udp send socket failed!\n");) v/ n9 S$ o8 t1 |5 P
- return -1;% N$ H: f; T6 ?! e3 O5 z) x! r
- }
% x l8 I& S8 h - addr->sin_family = AF_INET;
% X! ]: s6 x( ^$ @ - addr->sin_addr.s_addr = inet_addr(ip);& w! f* ]& ]+ C% l X
- addr->sin_port = htons(port);. B4 R/ J+ r8 \$ m" i) `
- memset(addr->sin_zero, 0, 8);) D; Y, w9 t# T A' X- H
- return 0;
4 j2 B9 p, ^" \1 O5 L# x - }
复制代码
- X1 |3 W# T1 e8 @: P3 u
9 V/ v6 T( y' \: K而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
7 E3 v- M' D( |3 M- h& H* ^/ n; e( i0 |& a
9 h7 c1 r: @; K: q- while(fend > 0)' J' \3 a* \% d2 s: ^
- {3 k& F- k$ S- u+ F H
- memset(picture.data , 0 , sizeof(picture.data));
; `+ P. G$ C7 M* v3 R- I5 m) { - fread(picture.data , UDP_FRAME_LEN , 1, fp);
- F, T9 @4 k" _' X - if(fend >= UDP_FRAME_LEN)
) E! z9 L6 D' o; ^1 Q4 P - {
: r( ~ w2 K7 C, j& l - picture.length = UDP_FRAME_LEN;
" r4 O7 O0 x: j7 U; y. Y - picture.fin = 0;" g( P! a! g. ?+ z# ?
- }
0 A2 r: Y5 e9 W' p - else/ ~2 N) q! B$ L& w; U$ C
- {! `! q: S* s4 e' h! L1 P8 b7 u
- picture.length = fend;. ~+ \% w C3 V' g" G
- picture.fin = 1;
1 R) U0 V( f6 u. m - }
; ~+ ]5 A7 X, D' P) a) K; I* N# r - //printf("sendbytes = %d \n",sendbytes);/ S& o2 [) n% I1 I7 u, Z4 f! m
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
6 ~ J8 e; ~1 z& {; v6 h, ] - if(sendbytes == -1)
" a" {% ?; t; k( v% J% z* ]4 d& ~ - {
* ]5 P7 V1 b2 u" T - printf("Send Picture Failed!d\n");
5 V4 y1 r! ?0 v. z; c - return -1;/ Z0 ^" y1 v3 ?' @% f$ D1 A5 q4 I
- }
* v; F0 D3 ~# c% w - else3 c$ ~% o; U2 Y5 P
- {) N; G, g9 R& D& Y
- fend -= UDP_FRAME_LEN;. ]8 c. M, P$ t" B
- }, V8 k; V7 _" `4 m
- }
复制代码 5 i$ F3 b7 V, H" G8 s4 }
; x, R! }4 p" ~" `$ G5 k' p/ o $ i s* J5 P0 e7 c8 |$ U
3 l# T" ~) d; a! L' q
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |