本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
/ z, g1 b ] f2 ? E0 }2 i1 b
+ b; G% q8 j+ t1 K) K & ^, v1 p l4 n5 R: x
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html
" ?. Q# l/ G4 X$ o6 o
7 {4 m- g$ r# `9 |5 D7 _本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 3 t( x! o' y. N6 U# [+ p$ k) G

+ z* A% W' [& r/ Q/ [两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。
+ ]6 d( p4 f o% ]5 c8 l# A5 @% y一、HTTP网页服务器' t, D) |( [) K, q% f6 V
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
* k0 L- G; c6 B3 n) q" @ - {/ U# c2 ~3 Q9 D. a$ G! Q2 ^/ X' V
- struct sockaddr_in servaddr;5 O4 F: O( u3 @
- socklen_t addrsize = sizeof(struct sockaddr);/ [ }0 V5 c6 t9 Y$ s, |/ X$ Y. b
- bzero(&servaddr , sizeof(servaddr));
9 J8 m- X# ?) u3 H$ X& `" p0 y - servaddr.sin_family = AF_INET;
! U7 o6 C- {' L d - servaddr.sin_addr.s_addr = inet_addr(ip);
5 D& ^$ c( V+ P* R9 S( \ - servaddr.sin_port = htons(port);# f0 m) B w' r7 }% @
- int ret;
. }3 C1 o0 p# h' D% C" j8 d2 |; C6 Z7 p - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)2 P( w" q% M- S) i: s! r
- {6 S- C! C& }( C# M+ |
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
: I" K* l$ S# l" d% q/ Q - return -1;6 a9 i5 q! T, V7 k- X$ H* M
- }7 S( [* N, r7 j( I# o) K
- int on = 1;6 x/ ~6 F7 G. N- L7 E
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
6 m, ]3 y2 g$ \" F - {
% P4 {9 R' ] F! e" N - printf("setsockopt error\n");* `( I3 q. t3 K6 Z$ O E; Y i
- }
2 q1 t1 j" q1 K; U& M - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
+ @$ H# S8 M% v$ r0 u+ f - if(ret == -1)' ]/ p2 n" `( T5 e) P
- {& c( G9 k( M& J4 w8 f
- printf("Tcp bind faiLED!\n");
. p8 V9 ?$ D: j b - return -1;* p6 F( p5 h) p7 h4 G
- }; R0 R* P( m, K Q7 i+ D k7 X/ B
- if(listen(*socket_found , 5) == -1)9 Z: T" Y. h- F& F1 e. r
- {) U: _& i% @8 H! N
- printf("Listen failed!\n");7 K8 H% n; e, ?5 T6 z" X
- return -1;) k0 D& `" q: x, R& S1 O* \/ L
- }% f% z$ H0 x3 q* g! P: D# G
- return 0;
x% b# T) a2 { - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);1 t% Y, a* E( w4 o7 W& j
- void * Thread_TCP_Web_Recv(void *arg)
6 B- |& P2 O) t- h# {& V - {' r+ d0 w- e- C9 T( B, {
- 。。。$ u& `% X2 y0 v& K7 [; j
- while(1)
" H7 _. w ^0 J$ q& j* U - {
; F0 m U* \! o3 E4 p! P8 b - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
7 z) d) [( i7 e3 k3 T9 F6 x - printf("fd_socket_conn = accept()\n");' @$ E) }+ v i: q! P% E
- 。。。
4 q1 `# d1 z, P( M# k - recv(fd_socket_conn , recvbuf , 1000 , 0);
: s# V- H7 K6 I' W' B - }6 g8 [ f. ^9 M0 H6 T) ~
- 。。。/ A) w, n' J' `: U
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);# K& r. _2 F2 k& {
- pic_tmpbuffer = pic.tmpbuffer;/ v/ `* k! q: m! ~ I) C
- pic.tmpbytesused = buff.bytesused;
5 l& y2 S8 K. h6 | - pic_tmpbytesused = pic.tmpbytesused;3 d/ M) A7 _+ l9 x, d6 o5 j5 y# |
- pthread_cond_broadcast(&pct);9 {, q% Q. o! N7 t2 u
- pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
* f- @8 [$ O! v G; f2 f - pthread_cond_t pct;
& {7 w- V+ T i$ C" z - int main(int argc, char* argv[])
. l. E2 C0 l8 b- T - {
8 D! a% u! h! U! { - ...' J% T1 b" c% U' y8 P8 r$ ?
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
) K+ f) e |6 y! C6 h! ~* Z - pthread_mutex_init(&pmt , NULL);4 S: b) Q& O |- W
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
4 F3 B6 _! q$ f# O# ? - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);4 j- d$ V( M0 R6 v1 h$ g
- ...
; [: h3 `% U6 d% g4 f - while(1)
4 T* G2 X- p2 M; g0 a9 n6 G - {- i! Q: U4 o/ Y- @( d p
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
/ o& O' m8 S8 w% t! w - ...
+ k/ @5 h- a7 M+ }# m) L - }: B# v5 e' U, s* L( E+ I
- ...9 k: i9 |6 I; b9 ^( W& X$ m
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">6 p* O$ ~* t& Z5 R }
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
/ ]# }+ U; Q p3 b - "Server: MJPG-Streamer/0.2\r\n" \
: R" H) F8 F' o& D, B* J - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
2 K5 O/ M' z; }# C9 p - "Pragma: no-cache\r\n" \
) E% o3 H- W4 Y" y" W - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
' G) G, o' K7 @ - #define BOUNDARY "boundarydonotcross"
/ U: G+ j4 U4 \: ]6 Y& a6 ?! M - printf("preparing header\n");
8 o3 d) O% X$ P1 J! \- N$ u; J7 i - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \6 j" U5 g& z# T$ e2 M; J: o1 j) |
- "Access-Control-Allow-Origin: *\r\n" \( g! n" F7 Y" ^2 |
- STD_HEADER \$ J" M# T/ j' N8 b( _' F: X4 i' d
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
2 }1 D8 q7 L3 J5 {4 X" t - "\r\n" \( n- Z/ ] _( ^. r# F+ P" I
- "--" BOUNDARY "\r\n");
( s: h0 w! B% {1 k1 M - if(write(fd, buffer, strlen(buffer)) < 0)
. D0 k( h' V& {3 E8 M - {" u% \9 L5 p3 d8 b- k
- free(frame);( y% v$ K2 E8 m; m" d. R( ^
- return;( Q. u- S; O D$ ^
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \+ h7 p1 g6 d3 s' X" M) n( _
- "Content-Length: %d\r\n" \; v1 c; Z \* |: z8 Z6 u
- "X-Timestamp: %d.%06d\r\n" \% p, W! k D; N% t4 I
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
6 d5 Z5 m! A8 @- Y7 r+ c8 c7 k - printf("sending intemdiate header\n");
/ S/ f% V* d y- v - if(write(fd, buffer, strlen(buffer)) < 0)( a/ ]6 M6 p& y) t6 K$ g8 p
- break;
! u# y- X0 V5 e! v$ S - printf("sending frame\n");
6 {2 |/ S+ f# Z$ t! q - if(write(fd, frame, frame_size) < 0)
. C2 C" L: x' b, Y - break;. G4 |! H9 s4 F0 n S; w, c( s
- printf("sending boundary\n");
# \: Z- E$ C7 u: y9 y - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
- [1 l; m: H/ ~7 e, Y - if(write(fd, buffer, strlen(buffer)) < 0); Q7 l' _- m5 i" J& U
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
* K9 y2 U* H3 p, E: r9 K2 a4 W - y F: z4 Q0 C' a
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
+ T k+ v% N- R+ p" t; j) |- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
\! ]( g+ |% Y - {
! @# H* B/ K! [& \/ N5 u$ W" C/ L4 _ - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
1 H+ Z, C5 Q% ?$ P. J) w' N) T - if(*socket_found == (~0))- P" t1 t* D( Q- o( _3 j
- {- A" h& {" |) }7 V7 @( H' |
- printf("Create udp send socket failed!\n");7 {4 J0 F1 T8 |2 ?( C
- return -1;
- ]' i( t& M9 w - }
' _3 y t1 O( f - addr->sin_family = AF_INET;
0 {! @* H1 D/ w - addr->sin_addr.s_addr = inet_addr(ip);
7 s, E. ?! m3 m( a, }0 d. G# X - addr->sin_port = htons(port);
3 \! G h! U% p* D/ N- y - memset(addr->sin_zero, 0, 8);5 e( f9 C9 }* R& G& }7 I# L Q
- return 0;
& w7 g) x6 |9 X* Z t% n" G! K - }
复制代码
. D' y/ p+ Q2 H0 g& ]( h
: C3 K* V( I/ g3 x而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
& N7 Y8 n- F- P. n. `
1 O8 G; P/ i8 P) t3 \& r/ n1 g9 x; M8 {3 z- r
- while(fend > 0)
: P$ C. o1 W7 {$ k* ~! c - {
# A" Q) Z$ q8 t- l - memset(picture.data , 0 , sizeof(picture.data));
" b% Z+ u$ h" M$ y4 v. a - fread(picture.data , UDP_FRAME_LEN , 1, fp);
/ a/ b; C) n' K; v7 n - if(fend >= UDP_FRAME_LEN)
% K2 d! D# Y/ z" u L. j - {6 Q8 g- i0 N! Z; a4 }% Q/ [8 E7 X
- picture.length = UDP_FRAME_LEN;
) f& Y7 q7 G( ^1 H# p/ X m - picture.fin = 0;8 s+ e5 U* k4 g& N0 k
- }
4 m3 Y4 B& L8 G8 f$ r - else
9 r9 d$ z' Y; p P n9 ? - {
: i+ @" B( h$ P6 A! p - picture.length = fend; ^7 v2 W8 [: B x
- picture.fin = 1;
8 S6 a+ v/ z! d3 I2 G& e' ] - }
) J7 W2 G$ _, k% ?. ~ - //printf("sendbytes = %d \n",sendbytes);
( ?2 S' Y4 x1 D! [ - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
" W( B" K+ n7 N1 V. d$ K3 ~ - if(sendbytes == -1)
9 Y4 {9 [! H& n( r% A C# b7 t - {
* `6 o2 j. B5 y" g0 F- N8 M' V9 L - printf("Send Picture Failed!d\n");
% P: `- q. f: }, I" A d! a - return -1;0 e- j* \* U5 b' I6 S
- }
& j/ ?- |. u1 Z0 A* F - else1 L; Y+ G! T& l" b5 ?* R5 m
- {
" c# O4 P9 ~* }$ r, X - fend -= UDP_FRAME_LEN;
7 X& l* P0 ^: A7 C8 { ]/ m - }, L# c9 Z3 m) M @
- }
复制代码
* N! p& t/ r9 d6 ]; r
( z: b* I# x/ w; c9 x+ M& e ( ]: H5 ]3 [% Z5 A; Z1 g# Y& p" x
. Z; G1 y1 `# N$ d, t" `! WiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |