本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 7 ~' W5 n) v- ^7 x' x
7 k) P6 t0 v9 e- A
' X* G1 C7 `3 A) f/ n w作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html: N3 x% Y+ J6 R
; e$ _' y! A( O, Q
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 ! O; e& x2 j% R; s$ O

" U* J: t4 L: F1 j; S' H7 X; b. N两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 & R! g' K1 Q3 P+ ?
一、HTTP网页服务器
" H! I; f& |& U9 U; e& |& y( Z6 K先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
Y: R8 n* R1 g) O9 _+ U) s+ c - {
1 m; X3 _# U7 N0 W - struct sockaddr_in servaddr;
9 t% v/ {- l' d& g - socklen_t addrsize = sizeof(struct sockaddr);' Q! [7 P9 H; J% G C/ D! S9 ?. n
- bzero(&servaddr , sizeof(servaddr));
( p% w" b# Y) L- h - servaddr.sin_family = AF_INET;3 Z Q* K2 a5 ?
- servaddr.sin_addr.s_addr = inet_addr(ip);
, N, ]2 u: F$ P5 I+ J - servaddr.sin_port = htons(port);
. p; h0 e! @: \7 N1 T2 T' p' n - int ret;& H0 [* x' u8 g3 V8 ?- F
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
* y3 |, \6 G( O/ F9 {- h - {
# F0 @- H( v9 `& s& `8 F+ a - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);7 C7 R8 L. T6 n$ q% o0 [
- return -1;8 u# n9 U3 o I. R! Z
- }
9 ?1 Z9 j' L* e - int on = 1;# n3 m8 R9 J' r/ a- i2 x! O+ F* O
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
. `2 l6 h; `: F - {
1 u6 z8 w* ~4 i& {- r- o' e9 y - printf("setsockopt error\n");
* k& J& u% p/ V/ m- H9 s* u - }
0 [0 ?* J0 o# V- C, e( J8 o - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);/ o6 d' \8 K7 j. W
- if(ret == -1)- p, @- @* m9 `/ h _- v7 R% \
- {+ d3 }5 t( Z y1 A' p4 V
- printf("Tcp bind faiLED!\n");
6 X+ j/ R7 h; c% `" I" t, a( V - return -1;
; ^) G* \1 J- } - }
$ Z+ [0 r" `% v2 B: T - if(listen(*socket_found , 5) == -1)
3 x5 H& K5 w: b# y2 Q - {2 t: u# y0 _' s# H5 ^
- printf("Listen failed!\n");- r0 ~/ }6 b+ |. K! _5 t# s
- return -1;
, P' N; I! ^' c* l( p - }
" e% N" f2 B2 W1 n4 t - return 0;
2 I9 D) r! K0 e" U - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
1 _: ?8 _: _0 I/ p" N+ D - void * Thread_TCP_Web_Recv(void *arg)' m3 U: m0 h" f( U0 Z
- {
& X2 G7 {2 u! M - 。。。7 _% Y) }" J3 L: k
- while(1)
! e' U/ r/ s9 L) Q% z& W6 | - {
1 H' I( ]3 j! s. V' W$ H; F7 V, } - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
( F& g) }& k4 N7 S - printf("fd_socket_conn = accept()\n");7 j! q6 z* @3 ^4 O8 s" Q
- 。。。
0 S) S. e1 T& S+ P) O - recv(fd_socket_conn , recvbuf , 1000 , 0);/ r% O7 E4 b7 q3 j3 Z" J
- }3 h, F. F. g$ ?. I
- 。。。5 f2 s5 K( r$ c, G1 s0 Z6 y9 e
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);! J( k! N9 i. y9 D7 T$ m9 F
- pic_tmpbuffer = pic.tmpbuffer;
! ~* N5 m7 g0 i) @ - pic.tmpbytesused = buff.bytesused;! `! ?1 Q& _: o. z, P
- pic_tmpbytesused = pic.tmpbytesused;
( F8 z& J3 u+ p6 l9 e - pthread_cond_broadcast(&pct);
" B% [8 C* z1 F4 w - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
: f6 B+ ?$ L9 L4 @2 l - pthread_cond_t pct;! s" i: j' n- p" `, ?
- int main(int argc, char* argv[])4 w; ~4 c3 x. T
- {
/ L4 u: O" J' V" Y& W - ...* E) r5 n1 }: C& |7 [- t) k
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);7 |3 l- B9 q w4 q4 Q
- pthread_mutex_init(&pmt , NULL);
" m4 r% B1 b8 {* J - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
7 l" P0 |8 f; \$ i - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
/ E- s' j( A8 Y7 B7 J" E" _0 B/ y, | - ...* R+ g$ x |1 ^# W8 x+ c" j( I
- while(1)
9 n, I! v+ b' S# x3 e: _* \ - {
% Z' I+ F3 [% U) r" C - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
" V! ~9 u4 ]1 v* U - ...
% K- N% j' _: o8 L. \ - }
8 _4 s) ~/ u) {5 X5 o6 k7 Q# B9 B - ...
$ k3 Q) |; m1 h/ T& B - }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
3 V7 X! i: X$ M2 C; V - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
5 q0 a/ Y7 Y) f) y - "Server: MJPG-Streamer/0.2\r\n" \
3 Q$ q" e& K6 F - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \) r! Y- b: r; |+ x
- "Pragma: no-cache\r\n" \/ }+ J* H& K) [* Y$ o7 ?& [8 ~$ }
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
' a8 M4 |' X1 z! B% ^/ `) k8 t - #define BOUNDARY "boundarydonotcross"
: ?9 ^+ Y% Z% l4 d0 h0 ~! }$ Z - printf("preparing header\n");0 v4 [, L: o* @0 W5 L
- sprintf(buffer, "HTTP/1.0 200 OK\r\n" \' q- j0 {1 ^1 {% N1 Y3 }# Y! M
- "Access-Control-Allow-Origin: *\r\n" \: I4 e6 N7 m2 l* S: ~5 ?- W+ ^' ?
- STD_HEADER \1 @7 O6 `) \# _3 {
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \5 K+ Z; [ c' _
- "\r\n" \* H: \6 y. f; u) w/ ? F, N% l
- "--" BOUNDARY "\r\n");# p9 a; `" i6 d6 e1 q, q/ G
- if(write(fd, buffer, strlen(buffer)) < 0)
! _5 x1 e+ p" K' W - {
T; F# H h Q* t% B' h - free(frame);
4 \1 i: w% ^6 F - return;
% ^. l1 `1 O- I9 K) A [ - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \$ n9 O7 F8 l/ s, X5 F) W( Q5 e
- "Content-Length: %d\r\n" \$ T J7 V$ Z8 W# ?" L' J/ O
- "X-Timestamp: %d.%06d\r\n" \
, K+ }! Z2 N5 }5 F. ^( ~ - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);+ w. j2 `! v$ o+ G6 ]* ~' [9 N$ V
- printf("sending intemdiate header\n");
, g, k" V" v1 g, t - if(write(fd, buffer, strlen(buffer)) < 0)) x- l+ a4 e& A7 U
- break;
1 [1 B, C1 q" R1 E# c( P# C - printf("sending frame\n");
, n/ u6 ]- k! `6 f! }! _ - if(write(fd, frame, frame_size) < 0)0 F- k- E- i2 S: j
- break;
* Q$ c7 E7 f, ~& y' N0 ` - printf("sending boundary\n");
% s5 ?* u7 ~/ F" s - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");! [" G7 x+ n3 N5 f6 j' n
- if(write(fd, buffer, strlen(buffer)) < 0)3 @# \' J4 I- J$ F" k, t
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
% `* Y5 @& F: V1 j: ~! r 3 Z: H5 U2 ^; Y5 d( p; w
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:: q8 A; i k L
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)9 s u! X" f8 a/ ]* e, f1 b) U, v
- {& X2 ~. ]2 \7 v$ X. p. U# G4 U
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
, i. ~! C7 f! t/ S' [5 j9 \ F6 N - if(*socket_found == (~0))' j8 R1 p8 Q1 T" a: a
- {
# l3 C; O' e6 O+ y/ @* i - printf("Create udp send socket failed!\n");
1 G8 ]7 B% o2 [, o - return -1;
" h$ L q+ J) ^6 j, u! ]1 m - }" }, z. C9 s9 d9 X3 D
- addr->sin_family = AF_INET;
; P$ a+ E' l0 U- U% A' C - addr->sin_addr.s_addr = inet_addr(ip);9 }. |8 j+ o& w8 o1 H
- addr->sin_port = htons(port);6 J! u' u! r6 g8 |7 D7 ^
- memset(addr->sin_zero, 0, 8);; L. S9 S- ? |4 j8 M. _/ x6 k6 m
- return 0;% O6 P- C0 F8 r7 K1 O. Q
- }
复制代码
) t+ H4 ~. m& F4 d5 |
% c( d c" f) I/ Y而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
9 Z- }% s3 N/ ` d0 \, C ]8 Z; e- z* ]' J
* `) D/ {4 }4 s, D% e: w- while(fend > 0)
; }& u& D- L0 R - {
. J- D; J- j" Q/ e2 Z. y' [! i1 r - memset(picture.data , 0 , sizeof(picture.data));
5 f2 ^6 \% b0 e* q5 M) @ - fread(picture.data , UDP_FRAME_LEN , 1, fp);5 Y3 u3 Z$ y ^* U2 x# Z
- if(fend >= UDP_FRAME_LEN)/ g! ]/ ?( r+ k* ^; c X# @
- {
0 V, i9 L# s6 q% @ - picture.length = UDP_FRAME_LEN;
7 s) ^- W: P9 I. j, t# j - picture.fin = 0;
# d+ d6 E0 {0 Z( d - }
6 }; d- f9 E/ X# ?* s7 ?; t - else5 s! d/ e. G+ [ b& D8 o
- {
8 K4 Q/ I+ L% G8 U- { R* I) V+ j - picture.length = fend;0 i* J( c+ @0 B( i! B) W$ q
- picture.fin = 1;* p2 s3 [- d/ K# z
- }
' h0 H T/ b2 Q/ m - //printf("sendbytes = %d \n",sendbytes);
9 {) J* q/ y( A& ?& w - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);+ \ G) v T6 u
- if(sendbytes == -1) t3 Z3 P5 G/ w
- {
' b: k- I3 G. M/ i, @) _" h! L2 ^ - printf("Send Picture Failed!d\n");! P, U D4 k+ ^- P4 Z7 f' U
- return -1; f. c4 Z8 A# R4 V1 Z1 q* \
- }* Q8 ]0 w/ \3 u% c" p+ \7 g' G
- else7 r% q( A d, v0 Y4 ~+ w9 M+ e
- {1 c' U& ]6 W/ m) b) M
- fend -= UDP_FRAME_LEN;3 h# e+ X+ G( c& E3 ]1 C8 B
- }: j# i1 M! M, \7 C( @3 _
- }
复制代码
0 g. B' m9 W' R
# G+ q. a7 t. k' n$ }/ K# @ 8 ]9 c8 s: O( b: b* E ]# |+ q
O, v' ?( K! y0 AiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |