本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 1 a; A% k& }% H/ N! c" L: e3 ~
- U* B5 o* R- N k2 |4 ?; v9 m
 * w. y( c! _$ p( n, A# N
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html }: T( k$ D1 G& c; J: p2 G0 H
[3 A% i+ u$ U: K% f7 I4 [, B
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 & \2 o' ^# {' t5 ?- {

& |& u- x) h, e/ P+ R7 v2 b两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 : U# E7 ]$ i: H9 T8 I3 B
一、HTTP网页服务器( p6 M- ], K6 }# o
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)6 L# h3 m, ~% ]" }
- {
5 q' }, b, Q% S: j; l6 I2 ^! c - struct sockaddr_in servaddr;* f e9 o" h6 e
- socklen_t addrsize = sizeof(struct sockaddr);7 I" G" [( G/ K2 K" Q9 _
- bzero(&servaddr , sizeof(servaddr));
5 e9 H: B1 _" n4 ^3 k - servaddr.sin_family = AF_INET;) ]3 K) O$ V M6 f) B1 i; f1 V; v3 A
- servaddr.sin_addr.s_addr = inet_addr(ip);
2 x) G) a. N7 ]( k3 u$ B - servaddr.sin_port = htons(port);
% |) K, N8 C# J7 e - int ret;# p, `- N/ Z0 [/ k& Q
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)3 d- `0 j! d+ n
- {
% R9 d, O) R5 Y8 y: u! w$ d - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);- Z$ D/ |# j9 J7 |: f4 g
- return -1;5 V$ T0 Q9 f* `
- }# x- n! [9 k0 n' e
- int on = 1; J3 S3 J" y9 ^9 V5 Q) X6 }
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
( p( {6 t5 z& i7 v) D% |; n4 C - {
) Z4 @: R" B" ^! k - printf("setsockopt error\n");8 g! [1 w0 ], ?' u/ ^8 }: x; k
- }
/ o6 F* o ?0 {. S" j2 o - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);: m! i, |( K# u6 b# v) P$ O
- if(ret == -1)6 z1 N; L" T) t% t. L3 c; n- M) m
- {
J6 l9 }3 f9 d - printf("Tcp bind faiLED!\n");# R, r3 x# P7 _) a
- return -1;
. e' ~; ~: c+ `: L" b4 g& m - }; H' _9 {$ I2 S/ }8 N3 h7 ]
- if(listen(*socket_found , 5) == -1)/ r- F3 l: S4 I: G
- {! V) r( Z) `$ e! N# S% f) y
- printf("Listen failed!\n");
( Z d4 j- F" I+ q7 Y! d - return -1;( ~/ {1 O" r2 b' i+ `
- }- Q$ `+ E$ U. d7 g) }3 x, M
- return 0;
2 `% |9 r; @* \/ L/ {# c - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
3 b* S$ m C6 a' D+ ?5 `. e8 Z - void * Thread_TCP_Web_Recv(void *arg)% I1 [) v" ^' `3 N3 T/ E
- {
, N! g* Y: N) A4 T3 j - 。。。
0 e( N0 c, z. R3 `- C - while(1)8 O0 k5 R8 `& {+ u0 y( m
- {4 C& C+ |; R) `
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
j8 `! @& D9 t2 D- J& Q; w E - printf("fd_socket_conn = accept()\n");
/ x$ L. q6 D8 G% B n: c - 。。。3 _5 d) o( r/ o' l" @
- recv(fd_socket_conn , recvbuf , 1000 , 0);& [2 G2 u5 Y) r
- }
) l- O) j6 A" a/ K. V - 。。。
8 l0 [, x' F( H! e: x ~6 y2 s; E - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);
9 }# q4 f8 I2 Y U1 h# ~ - pic_tmpbuffer = pic.tmpbuffer;
" J x9 m2 L. Z7 M( x5 ^! H - pic.tmpbytesused = buff.bytesused;( [( K4 `( o/ p2 o
- pic_tmpbytesused = pic.tmpbytesused;
) U/ ^* }, _; ? H0 u - pthread_cond_broadcast(&pct);
" z+ s7 O5 o% N" ]" ? - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
4 s2 W0 C: g+ R' A% I - pthread_cond_t pct;
& \7 s( l- U- q$ i* T7 Y - int main(int argc, char* argv[])
6 K! q3 b! }1 \9 S/ ], _: T8 d - {: f2 s- R- @' }$ W" }7 ]+ j
- ...
0 N' M' ]9 ~+ U$ d8 N5 B( i - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);. z5 L+ ]2 |9 o% u/ A, i$ b
- pthread_mutex_init(&pmt , NULL);
b0 p( X6 g: ~2 r5 v) [5 h# h) C5 J - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
, i, N2 ]- `) P+ Q N, _ - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);% R% o: X) X4 L$ U- d' V
- ...
3 q! ?2 I8 R+ h- C" c - while(1)' T; o1 p( W; f+ z1 {; R* ~
- {: `' `5 T- _ o. n! d
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
+ {: h; f, n0 j0 H2 F; Y4 V- e- E) @ - ...$ e0 m( C/ X$ ?7 D) r7 Y
- }/ V9 j/ L" B" ~" S c0 t" b
- ...
8 f, B( W3 d. q1 ~3 N6 V1 z( {5 X0 U - }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">9 d# I+ F2 }' F; s# J. S8 @
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \7 M# x+ w# h' l/ f! G
- "Server: MJPG-Streamer/0.2\r\n" \( a) g# m- K, d; ?
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
' K7 H' k% C* ^ - "Pragma: no-cache\r\n" \
/ p/ r6 o$ H( b: Z1 j" v; q; l& q4 \ - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
. ]5 `+ q) B- Z; [8 b# G) A- c+ \; @ - #define BOUNDARY "boundarydonotcross"
- _, m, Y0 K6 \) b. r - printf("preparing header\n");
- N8 I. J8 e3 o, { - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \. v9 l! M+ ~# Z: l
- "Access-Control-Allow-Origin: *\r\n" \
- H% q5 X$ D7 J, W" w% `# z9 ? - STD_HEADER \
0 `# H* h) O% o: S! M+ t - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \- H* R! v+ i* O. l! i
- "\r\n" \ c: |1 T' C3 E/ I
- "--" BOUNDARY "\r\n");
2 e2 @8 v5 [; g - if(write(fd, buffer, strlen(buffer)) < 0)
: o# a: u0 E; L - {$ } p8 I1 D0 n! e- f% B- I Y+ K
- free(frame);# Q, Q, N' B1 e E, K1 r9 f
- return;1 I$ K+ h: ?/ L; {7 I9 X5 N
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
; E$ h4 T: I) e( u - "Content-Length: %d\r\n" \
+ K1 c( x- N# n* J( `. K* G - "X-Timestamp: %d.%06d\r\n" \
- z" u- g! L, P: v - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
$ r' K. u0 u H4 S8 r7 k - printf("sending intemdiate header\n");6 z" p7 u; b: J) R" U
- if(write(fd, buffer, strlen(buffer)) < 0)
' @$ I2 @# U2 y4 O' i; p- k: ` - break;6 C; |9 b; ?& n% _
- printf("sending frame\n");
* _8 Q7 j" m" J6 e - if(write(fd, frame, frame_size) < 0)
# ~' ~) c0 B7 \$ V% q8 i0 J% L4 W - break;
( i: {. ?6 {( ?( |7 e, P - printf("sending boundary\n");2 E9 Q) x. z' ~" d
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
+ V, S+ l5 w' ?. }! Q6 J: X - if(write(fd, buffer, strlen(buffer)) < 0)1 M0 e$ i" I1 R% H! z
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
, \5 _- o% R0 r. Q; m1 I+ l 0 v. J/ |4 M; |% V2 G) S- F0 M
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:. n2 h% W& x1 c' u- f6 m
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
1 `% p) L1 a ` A- z - {: O, ^, F) o g B& R' T
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
: E0 z$ r3 x+ t A; N" d0 T - if(*socket_found == (~0))
0 T' N: V) k2 U* a) B& A# h+ } - {
8 j( a1 G a% |7 |! z - printf("Create udp send socket failed!\n");' V s C8 I8 x' _' Y% R) g5 T9 \' R
- return -1;2 n! S+ [+ q" x2 M. B. T- z
- }
" ^. [% [% D; e" W7 v - addr->sin_family = AF_INET;
8 K8 m& C- g" ^ G* H - addr->sin_addr.s_addr = inet_addr(ip);1 |# }+ S) }, {1 M
- addr->sin_port = htons(port);% e1 V! c8 ?- n" l
- memset(addr->sin_zero, 0, 8);! t, C) J1 L+ P9 T3 ?
- return 0;
V' j& ^6 _/ x - }
复制代码 ) x" }; \# w g
2 u' `+ U: I' X; v) U而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
2 Q' V" {: U- l) e5 z
, r1 Y3 j0 ^! q( p7 J
. ]& e4 @# a* f9 M- while(fend > 0)
% r4 {! h5 u: Y; y - {4 Z+ L5 |% d! |: b5 O! R* O4 d9 x
- memset(picture.data , 0 , sizeof(picture.data));7 J) ?, K& n( x
- fread(picture.data , UDP_FRAME_LEN , 1, fp);
3 n' y( q3 [4 ^' h" N5 s - if(fend >= UDP_FRAME_LEN)
% [% ^2 X3 E. F, U& U- r - {
/ @6 [; Z+ L: e) a+ U - picture.length = UDP_FRAME_LEN;9 R$ Y( O) x- |# t1 I
- picture.fin = 0;0 u4 ^% u% q, A. y X6 p
- }
6 q4 y2 B5 X% M9 S% U8 H" _# ?8 E; l - else
! Z9 N. ~& i) D3 d: W - {
2 z; S5 e3 s7 x# G - picture.length = fend;
% _) Y9 b9 w+ z1 x" H8 j - picture.fin = 1;
( ]+ X# @9 V9 I2 l, v$ M - }( O1 S! R) A2 ] x+ q) O- C2 h: X( }
- //printf("sendbytes = %d \n",sendbytes);/ w' `; `& W- }% b% F
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
- l- x+ Q: M' t# w, x - if(sendbytes == -1)+ y0 r! D2 k4 b0 X; a3 J
- {. f- n' }& e6 t9 J( t$ G! d
- printf("Send Picture Failed!d\n");) P& P% A# c. @
- return -1;3 M8 I9 N" I7 T9 l; D
- }
( i% z4 o6 U$ `! |0 ~ - else, Z. C* J0 R! P3 P# p! X8 V
- {
: h- Z( S% d( W1 h - fend -= UDP_FRAME_LEN;
) ?$ N6 E c! E; i - }; D" C' A% `0 E4 l
- }
复制代码
, f* \6 V( V5 w ~1 j: n) \5 J
! d$ R; S( j/ e4 J/ K5 E X( [; z0 H! L# `6 [- T
# L/ W! |; |- j; _( D
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |