本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 7 r' \, X! p' |; T! m# G
O! z0 C+ O; }5 L( \: X, x 5 N6 L( `/ p' s+ d, D! l& P! C
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html+ T5 d9 e& b4 e; C& T; v5 Y
' }' J2 {. ?7 O2 Z x# [
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 , ]* j+ L, R0 b8 L, ^2 t

! F: w/ g! b2 J0 F, @两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 / b i$ u9 x( c7 t8 }: |5 D0 s
一、HTTP网页服务器
; l1 U/ i& l$ D先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)) C( q, [( O# i4 h. {9 F5 Z2 W) G8 d
- {
0 N8 H9 H! T7 J9 r - struct sockaddr_in servaddr;
$ H2 j1 i: a8 |4 |0 H/ a1 s* \$ C - socklen_t addrsize = sizeof(struct sockaddr);
$ Q" s. P$ M+ B# v% M! H - bzero(&servaddr , sizeof(servaddr));
- P1 M. G$ E! y" x - servaddr.sin_family = AF_INET;$ G! C d2 R5 S5 h
- servaddr.sin_addr.s_addr = inet_addr(ip);
. J7 N, X: _$ s2 Q$ ]" o: O2 p - servaddr.sin_port = htons(port);
3 O5 A! f& [; C1 ^' i - int ret;7 s: ^3 y0 [( s+ E, k2 l1 k. T
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)) O. g( E) z6 E. [( g& @
- {* v$ d1 q! C! }0 w3 I
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
; X2 O+ u- }+ v3 \5 H2 n8 g* k - return -1;! M! h2 b8 `7 T, `4 J) h
- }1 W! y! Y6 k, }7 F7 m
- int on = 1;
- C3 n# S2 p9 R# D1 B - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
6 k4 d' R2 b4 F: M3 Y - {: \8 {4 a' y1 t+ f
- printf("setsockopt error\n");
+ w/ c( B/ h7 t ~* \% R4 y7 R4 C$ n - }
& \: [0 \# j9 j7 \ - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);: a' k+ P! M4 D$ U
- if(ret == -1)
# ]/ n8 z& l% \: u - {$ H3 ]! Y5 Z5 e$ k, d' q2 }; D! V
- printf("Tcp bind faiLED!\n");
9 x) s# f) K4 P$ H3 P - return -1;* F0 K: X& C, h( G- I6 e
- } v V) ^% X5 \8 _( z% G. k& _" [2 I% O
- if(listen(*socket_found , 5) == -1)$ i) ^4 D" l @0 `0 W; {
- {9 D8 K5 `- K+ q8 r. J* I
- printf("Listen failed!\n");
& S. y; ~8 H2 Z - return -1;" U( e L% { Y+ i" p( v
- }
8 \ }( O# b2 H8 z2 K2 k e - return 0;
/ g5 U9 g/ f" H! C1 q. x - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);- v3 d& K. S2 ^" ]1 c
- void * Thread_TCP_Web_Recv(void *arg)
|- P* ^' f0 a# T4 A1 J, L; h - {
# ? m* I% `: j6 _ b6 r - 。。。
3 v- k" Z. R; z" O% J8 K& o - while(1)
7 C9 M" J* R& C/ t$ w* P - {
! T. D$ y& c" q% | - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
6 g% R* O# Z1 v, g/ s$ {* R7 g3 G - printf("fd_socket_conn = accept()\n");
P" c( O# Z# y* d+ M - 。。。1 t& w, e" k0 m7 X) u
- recv(fd_socket_conn , recvbuf , 1000 , 0);
2 L! w- G, D& F, M" l- f+ ` - }" t) U1 ~# O7 D( @
- 。。。
8 E, r' L0 A% n+ A; Y& D4 E - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);
3 n2 J$ F7 ]9 _" T( i3 B3 e: r9 j - pic_tmpbuffer = pic.tmpbuffer;
- N' V2 j+ R0 [ H: F0 d( C - pic.tmpbytesused = buff.bytesused;
1 {9 D6 p5 n2 x! X' w4 V6 E& H+ d4 n - pic_tmpbytesused = pic.tmpbytesused;
' ~/ J+ O, v3 z; R - pthread_cond_broadcast(&pct);
' t4 ?: o2 V `+ A+ ` - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
5 @ o! X) R+ y - pthread_cond_t pct;' E; L3 E7 I U+ S/ l6 I
- int main(int argc, char* argv[])# }8 W7 `. V- F7 W8 t9 W/ H
- {; [$ x4 |, u) J$ q
- ...% h' ]- J% L( a" r- ]
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);2 Z. s! D& B* A" p* G
- pthread_mutex_init(&pmt , NULL);( n" U* A* w$ z" U# ~0 P M
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
' d# @ _6 o! P: `9 B - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
0 l6 ~ N- a, [4 t7 g - ...5 g, T& k2 G7 n8 N6 x) X7 `
- while(1)- m* S8 j# B" J# D7 r8 x! c/ }$ |
- {1 [ L" A" _- u t! d
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
( S: n7 l$ @5 H6 }5 l: F - ...
# E" R8 c$ M* O% {9 X, M - }7 W' K* X! g7 |- @
- ...
4 R5 Y# F1 C) f8 R - }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
- e, D* ~/ S# y& V8 r - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
, S$ X: q3 Y2 Q/ D% z: y - "Server: MJPG-Streamer/0.2\r\n" \
6 z8 A: c: @( Y9 o& J/ U2 s' u - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \% P; M/ G2 @1 P9 L
- "Pragma: no-cache\r\n" \
. G! |! y3 T; q, y2 u; G n - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n". c1 c6 \3 k1 s6 x; d7 G' }
- #define BOUNDARY "boundarydonotcross"8 C3 n7 S+ C- h. V Z
- printf("preparing header\n");
: e! n6 U. F# s9 F o$ l1 u - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \/ X+ i0 `8 j. z8 h4 O% r
- "Access-Control-Allow-Origin: *\r\n" \1 `( q! w; Y1 n0 f$ \) r$ H& v- y
- STD_HEADER \. p0 l7 Y& |% e* E* Y: F* b2 k5 I0 x% |
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
# `( t/ m1 a8 Q; c4 f! T4 s6 M6 F6 I: B - "\r\n" \
1 x2 a, S- f* s - "--" BOUNDARY "\r\n");
0 s. Z5 K8 J. j8 {+ \- z8 S( ~ - if(write(fd, buffer, strlen(buffer)) < 0)' |# J2 G) J: L# _, @
- {5 o3 s: K* i; P
- free(frame);
8 [# n/ D5 D7 b, E - return;. V! l1 _& |" @# [
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \' W8 b0 L7 D7 i2 B% |5 H- X
- "Content-Length: %d\r\n" \
F/ n2 |8 D }' W P2 ] - "X-Timestamp: %d.%06d\r\n" \
8 \& N8 z2 n3 A5 \3 s - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
) S6 Q& q9 I# F. n- f! m - printf("sending intemdiate header\n");
. G$ e( N" y' a* Y( q. D - if(write(fd, buffer, strlen(buffer)) < 0): t) F3 T5 X+ l- g1 m" {
- break;
; k( l, B1 o/ w/ R& T - printf("sending frame\n");
' i' ]& Z& x+ s; n7 W+ r - if(write(fd, frame, frame_size) < 0)$ j% t$ W$ D3 [$ h" `$ O( I
- break;# n0 L5 J; B, `. q
- printf("sending boundary\n");
7 `) ]9 V: A6 E1 h - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");( m+ `+ Q' ]$ c* m: O( ~, C: T) s
- if(write(fd, buffer, strlen(buffer)) < 0)
/ ?2 t% b8 R: b) _( W/ ^4 e - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
2 b- l' d1 r7 L1 n2 M8 h2 ]
4 o- R ]% e* {3 Y+ K t( I二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:7 r5 e4 F1 S% N6 Y
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
6 `. e0 v0 x# c0 | - {
8 o, y3 Z D' O, W - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
+ {' r, j& J1 ]6 I2 H - if(*socket_found == (~0))
, u: q: g' _, m- C - {5 J# v0 Z j8 o) @6 o8 z1 S
- printf("Create udp send socket failed!\n");. v5 m6 ]3 w1 v
- return -1;7 A3 M# @8 R' {# A6 L
- }
- B' {5 \( }: {/ n+ i - addr->sin_family = AF_INET;8 r9 @ K% b& Z) y
- addr->sin_addr.s_addr = inet_addr(ip);
! M e# J1 z. ?; v& K3 ^0 U; o - addr->sin_port = htons(port);9 B; M, o( Z, \4 r9 o, c
- memset(addr->sin_zero, 0, 8);
! h- ?; |$ P* n/ S - return 0;8 ?, U/ L: y( s
- }
复制代码 $ [7 p# ~) a5 Y* Y/ e
. K: j7 S/ G1 j而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:1 W& A5 s, R& ]9 |
# i4 i: B/ g* M( H$ e3 U
7 N+ t1 C7 t/ h( l$ ]- while(fend > 0)
) V K3 c4 B7 p2 ` - {3 i3 y5 p2 Z7 C+ V, F6 Q8 `) ^$ M
- memset(picture.data , 0 , sizeof(picture.data));# p' v; q7 z" i D) d& Y
- fread(picture.data , UDP_FRAME_LEN , 1, fp);
. \% n/ H5 f7 Z$ W - if(fend >= UDP_FRAME_LEN)2 q$ k0 r3 Y, o' _3 ?) c# D
- {
+ R8 V/ ~1 A4 L& a7 U - picture.length = UDP_FRAME_LEN;+ y6 `& j8 w. R2 m% V' u
- picture.fin = 0; m5 v2 K. l9 G. \' h
- }* o$ _: ?7 V- T
- else' M* u" |4 R% G3 c7 Q
- {% w" U( H. Q* ]8 V! l
- picture.length = fend;
0 ?9 l, ` J- x0 G' L6 [7 a, w - picture.fin = 1;+ V! c' {; o+ X: |8 @9 G. [
- }
7 M% j6 Z+ f( o5 \" d" ? - //printf("sendbytes = %d \n",sendbytes);! Q" m# P, Q( R
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);/ I! }: ?8 t( _- s9 m
- if(sendbytes == -1)
7 b0 p" g; r! ]. C/ x/ T K/ j' Y - {7 |3 U. ~7 Z4 v) }, \" Q
- printf("Send Picture Failed!d\n");- f2 J% D6 c, _' I* B" t
- return -1;( c( @; l) w$ D
- }
+ b2 V1 i& d/ k4 y i& P$ [ i! f - else* a# t% z" c4 j. R. u) v+ X9 S
- {
$ _) `2 V. c! P/ i9 r n! y - fend -= UDP_FRAME_LEN;
8 S! j2 X Y2 y4 V0 P; e - } e0 j' G) B5 P0 z. V% ?
- }
复制代码 , C8 T) g* K4 v
4 D7 Z/ B8 O1 X7 ^% N

8 T7 Q4 u; d0 ]9 n
q4 A% |" x; f' z- ~) ]iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |