本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 " S+ F' {2 q6 {
/ w I( G! t4 w/ Y- O6 f
8 [' R; R7 l. V! }1 D$ _$ M作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html- Q7 w9 x8 P3 B# m( W
% O2 ]! l E c- s& R本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。
$ F: o1 K! r* w
+ v) [$ P* C8 Z4 x3 r两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 , |% t; z! R7 }- n. |7 k
一、HTTP网页服务器
% A5 F, s9 e5 J# Y+ A1 n+ \先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)# ]. I! h( q8 }; k: V" E
- {
$ H( W& p1 T8 |0 A5 @# G - struct sockaddr_in servaddr;
1 Y* q0 V( T1 R5 t0 N! I - socklen_t addrsize = sizeof(struct sockaddr);4 P; Z; {0 J. T- q/ Y
- bzero(&servaddr , sizeof(servaddr));/ K$ O/ w. V1 J5 ]
- servaddr.sin_family = AF_INET;
# s: j) _/ S) D. P3 b- S - servaddr.sin_addr.s_addr = inet_addr(ip);
2 d. r( }& `, E. I4 c - servaddr.sin_port = htons(port);
$ x3 X% U. \. V# l# O" o4 F& Y - int ret;
+ X# I& h. D: q' h5 X0 y5 c9 j3 @ - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
$ Z" [( J/ o0 j: [; I - {: `9 Z4 Q1 b. w6 r* B6 q# \2 x
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);7 R- o" s% g; E- |
- return -1;
6 j& F: D8 u" B - }2 e% V V( e7 b4 U+ d
- int on = 1;
- g, g3 y( F$ |8 c - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)) N! Y/ O5 c" n5 \6 b
- {5 y6 u. q. N3 F2 w
- printf("setsockopt error\n");+ O+ V. _/ a* {6 m+ {/ Z
- }" L. S( }! T! L
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);7 F" Z# A5 ]* e P
- if(ret == -1)
, n6 k# z/ Q( W4 A4 w - {! T9 r" F( J; X, |, A
- printf("Tcp bind faiLED!\n");8 [( V$ e/ V4 q9 D
- return -1;7 w' @& f/ u' v+ s3 n: Z
- }
% N) G3 ?& v: ~: W) F - if(listen(*socket_found , 5) == -1)& `7 I/ [" w: C% }3 H( k
- {5 G( @# F# _1 J& b' i# X
- printf("Listen failed!\n");
' v7 k2 x) U) c: Z - return -1;
C) L9 B$ n* F/ ~ - }' l) A8 ^6 h. n' b% L0 p1 p5 L
- return 0;
7 r: b1 \1 c9 Q B - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);0 Z1 ?6 f5 o9 `4 [- }* }
- void * Thread_TCP_Web_Recv(void *arg)
% k$ d% }1 [, q: o6 C0 Y7 N; K- n - {
# c/ q4 \' B) I - 。。。
+ d& z9 r9 ^6 {% L1 U8 z - while(1)
% _, R% S: p+ G j3 A1 d - {* g" d% t/ ]3 M! S6 y8 ?
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);: y; @. [2 d' l" _3 _/ r3 V
- printf("fd_socket_conn = accept()\n");6 a' Z) B, W7 U! Z: b% Y0 ^
- 。。。
: H' f/ G- A4 D- j8 S; V" d2 G - recv(fd_socket_conn , recvbuf , 1000 , 0);
" ?' f8 A/ c- h, U- `& d N - }& g) K2 l, I! v* k# }; a3 K
- 。。。) x2 ?. o" p- \* x; o: t2 p. b
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);) Y( s. G8 ]! A: l: m7 O
- pic_tmpbuffer = pic.tmpbuffer;
, X J3 u) T( w8 U - pic.tmpbytesused = buff.bytesused;
8 I4 Y% Y9 X- t9 M" ]$ K - pic_tmpbytesused = pic.tmpbytesused;
8 V' g. e( l) U, O/ \+ `, q% L* B - pthread_cond_broadcast(&pct);
2 g! T8 _' ], V6 F0 Y1 M; a# g - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;: w- r5 m0 }! s9 |6 M
- pthread_cond_t pct;- Y* o0 G5 s, K. J0 H
- int main(int argc, char* argv[])) K9 h: r' ^/ v) d- M$ n# j
- {
5 Y* b1 | ~. `# G+ J7 @ - ...+ w. K; F; z5 x; u& Z( D) B R- L
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
9 }9 O# ` L8 [) B' j" }4 | - pthread_mutex_init(&pmt , NULL);6 _9 s% S$ s" l+ |* o( ~
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);* \+ U7 k; N! ]) s' O" w+ ~0 i
- pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
, F; v* h! D* [ - ...
( @, R- ?: j# |! M" V' e1 s: J - while(1)6 ^; n' G- I% ?9 Q9 v( k0 M
- {
& }% o, n" C' a- _ - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
3 T7 ?5 S T; k$ ?0 ^ - ...
) b4 _* E$ f) l# O2 u6 o - }
7 V* B* m* z; X/ O; H - ...! J% y1 I; b: ^, D; x F6 P
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
. m- H% ~8 _9 d0 w - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \2 `( }; a! T+ r8 \
- "Server: MJPG-Streamer/0.2\r\n" \) V% T% T& ~$ @$ e* [
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
8 _1 `( u( L Z. l2 T Q - "Pragma: no-cache\r\n" \
D8 ?; h* x7 Z: `0 O1 j - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
' z3 C6 ?& }0 H; [+ B - #define BOUNDARY "boundarydonotcross"7 R) L3 \0 y" ]3 q) V9 [" G% A
- printf("preparing header\n");
/ J0 t }4 T8 A; I S, W - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \1 n1 t& N' f, K; H- e+ i1 X
- "Access-Control-Allow-Origin: *\r\n" \/ i8 \/ p4 k- n, j$ I5 C- I
- STD_HEADER \
: Y1 [; h% i. ]9 `3 f - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
* U- e/ j0 }% @' ?2 y/ M# m" p - "\r\n" \
9 I( d. n7 U$ V$ F. I& N5 m5 \0 N - "--" BOUNDARY "\r\n");4 v; }* Q& v" V# c J/ o
- if(write(fd, buffer, strlen(buffer)) < 0)( d* Z, w4 q: u5 Q3 F1 G
- {$ k8 S0 L3 e/ Z% n9 f& }) Y
- free(frame);: W3 R+ ?' h6 _1 ~& v" H# O' Y
- return;1 k$ S! ?; w. W& q4 N: x
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
2 X0 l2 X5 n0 a; `0 S - "Content-Length: %d\r\n" \* I7 P8 g, {% _' B5 Y( C
- "X-Timestamp: %d.%06d\r\n" \/ Q+ L! X5 O8 T0 z8 y
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);9 \/ T% }5 i3 J0 u4 ]9 Y
- printf("sending intemdiate header\n");
0 S) l) W B/ A3 y0 [; ` - if(write(fd, buffer, strlen(buffer)) < 0)
9 F ` D/ ]1 O/ }* i - break;
! A7 j# V" \! ~ p% Q - printf("sending frame\n");, i$ C8 |1 a6 l* M- V
- if(write(fd, frame, frame_size) < 0): @( F/ {) q5 m
- break;
9 j* g# h7 ?& I- F$ `3 J% H - printf("sending boundary\n");0 |2 W; L* J" ~( t/ t( Y! j
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
7 }/ L. M& t/ u9 V2 E1 ?- h1 y3 d - if(write(fd, buffer, strlen(buffer)) < 0)
2 r$ r5 J8 ?. {; {, [ - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
- {, ^- n' I1 Q& E! q 0 C. W7 I2 K! T( E) D* d4 W
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:6 |# q. Q' q% p+ f/ d
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
3 b6 X2 v3 h$ c - {: z5 u1 G8 m& n6 R/ x
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);. D1 h" O' o- U+ w
- if(*socket_found == (~0))* v+ ?$ f5 K6 o% ~8 \; g
- {) [) i) }- L0 P
- printf("Create udp send socket failed!\n");
- }" y# ]' E4 Y3 K - return -1;
% ]2 |+ N$ J7 M, K+ @! S - }! N1 {* ^1 k, y' f
- addr->sin_family = AF_INET; i! ~' W1 ^/ T, [3 n$ x
- addr->sin_addr.s_addr = inet_addr(ip);5 b7 W% ~& o# H6 A, w; ~: W. G
- addr->sin_port = htons(port);- W* G8 H! T k
- memset(addr->sin_zero, 0, 8);$ Z, c1 V, q% d4 X
- return 0;
; l7 t9 R( s7 N, ~0 J8 a - }
复制代码
! a" ?$ c- Z) Y: [1 q7 R, { [- S* ^- d& ?/ t# \
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
1 ~* J7 d* a0 z! A, x N, Y, `
4 _1 l3 f% N% ^9 }1 O9 G' P& t- q- o; o6 A* h. _
- while(fend > 0), J* R9 J/ H9 X& c% ~# C
- {$ p( B g3 L* B) W- p; ^
- memset(picture.data , 0 , sizeof(picture.data));
}0 J3 d+ C3 m - fread(picture.data , UDP_FRAME_LEN , 1, fp);
( Y( Y+ b/ V, f+ m" _' N1 _ - if(fend >= UDP_FRAME_LEN)
0 l$ l* y5 B' P, {2 u+ e+ J - {8 j @+ c8 h8 {: C5 b
- picture.length = UDP_FRAME_LEN;
, \4 m- h0 C, p0 r% j - picture.fin = 0;
1 _* l! D1 `2 H0 p - }/ Q( s5 _3 c* q6 G2 X( N
- else
8 K7 e! X [8 s2 L - {5 x: R: V5 w" R* p
- picture.length = fend;8 D$ K+ B' G: V6 i1 e
- picture.fin = 1;
# d v7 B! f6 a' R/ \$ S& t - }
/ |6 z; W% b# m. d - //printf("sendbytes = %d \n",sendbytes);' V8 l' T2 p K& x# ^( |$ h' X) d6 m! x
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
# l. o8 V" s, |# ~$ `0 z( ]2 S - if(sendbytes == -1)9 r& v8 r3 { ]6 r' i$ v
- {9 [: \: E) {) b; w# z6 _4 |! h# `
- printf("Send Picture Failed!d\n");5 B) {; O% P( X! t- T \8 ?7 ~ V
- return -1;
8 R ~- ^( M( s2 M/ | - }
6 ^# c4 Z# o: i! m$ _* a - else
; [) c& ?+ h1 w1 V. y! ~5 G - {
! b' b& p# \ L+ ]. W - fend -= UDP_FRAME_LEN;) W* v Y! R/ O- u. M
- }
$ \* U2 S, [3 y - }
复制代码 . \) _3 C( R" w" m& i/ U0 O) _' e
5 o$ }8 F& [9 G! n1 N; f w . j. d6 b. ~% z, Q% K+ P& `9 H
3 P2 O7 v2 r# d6 f4 Z$ }/ uiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |