本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
! E% R% Z, q6 o) k8 O& C% h4 A( j' [. p# s0 A7 K% R
 + v O/ |! H* X8 x$ ]3 P* g
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html* E' y' ~3 R) F8 v* v- S0 M( h$ r
' {) U" Z7 O+ B; n2 u* P
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。
2 O% z9 Q6 Q+ s. I5 c ! b: P {1 n0 t! P7 p2 B
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 * l! a$ _- u( o, {% c* R1 f
一、HTTP网页服务器" I/ b/ d; }4 k2 O' d. z, O0 k( f
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
0 ]* c$ P. k+ D - {
+ A; k- v3 B2 b$ i - struct sockaddr_in servaddr;
# b& p3 Q/ Z2 s5 Q( y! \% x - socklen_t addrsize = sizeof(struct sockaddr);
: W0 J: ~0 _( i7 `! k" T - bzero(&servaddr , sizeof(servaddr));2 B ]' [% M+ }7 ~. s
- servaddr.sin_family = AF_INET;8 h. ?. v5 V, [. Y3 ^5 `0 T }& G" ?
- servaddr.sin_addr.s_addr = inet_addr(ip);) ~3 z/ G, M/ J
- servaddr.sin_port = htons(port);: ]" D9 y% |4 ]# }% \; O& d( v6 k
- int ret;
8 f$ k7 v- {" ^% h2 L B( q \ - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
# V0 D/ D: Q# G, i. v - {
1 H/ D9 t) W) W% G( |& S- o- L: a - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);& P& h% H! i6 {% p* v! a# T, }1 b
- return -1;
; i# `( [6 u: T3 m: B1 r - }
0 y& ` W' b+ C9 P - int on = 1;
% E7 [2 x- } p' W - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)( n; z$ @* f, a! ^0 ]) ~0 U
- {$ P$ Z. C# f/ r5 _5 T
- printf("setsockopt error\n");; w* B7 K" D3 |* ]; p4 h' x/ v
- }
% I% X/ e4 y! h/ ^4 q6 h - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
' r) O0 W5 \. |% r - if(ret == -1)
3 _1 E' w5 o) C) ~ - {
# n9 C. \5 x0 x$ M/ w; ~* |. s - printf("Tcp bind faiLED!\n");
1 z/ Z" Z, H* S) h% }: j w. N - return -1;8 q2 L* g5 E/ h7 k! o7 s# q
- }, Y$ d$ M O! C! d/ ^6 P
- if(listen(*socket_found , 5) == -1). ]4 E8 `8 `5 F y; ^
- {& |. R: d) \# i3 S z5 r
- printf("Listen failed!\n");
+ p# F# }: ?) j+ { - return -1;
4 v4 s0 F- K% u$ s' b$ n - }2 d/ E' f% j Q
- return 0;
4 y5 u, a2 ^+ Q- G; ?: ~ - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
& U; W# `( c/ ? _ - void * Thread_TCP_Web_Recv(void *arg)( x- s6 s2 O. _, ?. c5 |$ z
- {- C6 p( X3 W8 v3 |: s! B- i5 ?
- 。。。- Q9 b/ U! c/ N' `8 k$ |
- while(1), q" n5 f2 ` K, T7 R8 i0 W6 `
- {7 ]5 @; u3 O; i3 [" t
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);2 g4 H# H6 X8 T6 m
- printf("fd_socket_conn = accept()\n");" h7 F+ f k; S$ K
- 。。。
# b5 I! [$ ]# X! \ - recv(fd_socket_conn , recvbuf , 1000 , 0);
# V! X. R6 G/ n5 Q6 S3 q# b' G- J - }
- I B" k) h& R" E7 J L+ \: X3 r - 。。。
/ A* v& o5 p# M8 w/ U1 _ - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);
+ r* \! e5 `+ n/ q( a% [0 F/ N - pic_tmpbuffer = pic.tmpbuffer;' F. K: D: R4 c
- pic.tmpbytesused = buff.bytesused;$ @0 \9 d* m2 D- x7 Q+ r) G
- pic_tmpbytesused = pic.tmpbytesused;
% @. h9 M2 b" C5 I, y: f - pthread_cond_broadcast(&pct);: G, o( U6 E1 ~) U [
- pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;& I+ B- V: i7 [* u7 C* n, k
- pthread_cond_t pct;) K N0 Q7 S& E( A7 L
- int main(int argc, char* argv[])
# G* Q- I9 T' a7 ]9 ?' P( }% i - {
' }, m' h0 p- D6 R8 C" e3 ^ - ...
% O v! R6 S1 u9 m D+ ^1 e - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
4 |& }% F2 l5 ]5 u z0 g" u: L5 u - pthread_mutex_init(&pmt , NULL);
, X4 L% n! v0 ^! V3 X - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);: w+ Z1 h- \' m$ R
- pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
$ H l3 P* j. l2 e - ...+ F. c: R# f/ W7 P" q& G
- while(1)
0 X- ^5 q! ~3 @8 k - {: L h8 T5 f; l) L9 J" w7 d
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
1 [5 i: _9 S, j5 K - ...
" | J, W$ {$ k+ A* q$ Z2 M - }7 c! Q/ U# _- P+ ?% F' `+ m! m
- .../ }8 I7 P6 A2 N; X5 y
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;"># ]2 D9 a1 A8 r( w. K7 b
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
) D1 Y5 V6 \9 G; @2 D! B H6 G - "Server: MJPG-Streamer/0.2\r\n" \ G1 }5 `# p5 I
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
- Z' j* x" }; u W3 M - "Pragma: no-cache\r\n" \* g( k* R# p. R( A. D% [
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
8 S9 V. [- v' k - #define BOUNDARY "boundarydonotcross" K8 f6 N; ~* H8 L6 h0 A
- printf("preparing header\n");
; B7 ?% b: Q V- M% g- M - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
& r8 y2 `& z3 k - "Access-Control-Allow-Origin: *\r\n" \
3 x( M: Q2 ?) R; o - STD_HEADER \+ z- S. y' L' P* Z6 y+ |; \: y: x
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \7 H( b, J& E8 `
- "\r\n" \
4 ?0 `4 `% r; s: z; P - "--" BOUNDARY "\r\n");
& k# X# ?/ ^6 s - if(write(fd, buffer, strlen(buffer)) < 0)
- V2 }( w8 T/ k j7 O2 D - {
1 W- u2 t# u2 O - free(frame);4 `$ P+ o: @* C7 v. f. C
- return;8 h# X G! R. x) u, y
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \5 G* M& V* H0 O6 p6 b
- "Content-Length: %d\r\n" \7 _7 n# J2 f4 b( t* F( o
- "X-Timestamp: %d.%06d\r\n" \
# m# G, y! M) h m - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
6 x. ?) v1 a6 B7 X2 \' u% L - printf("sending intemdiate header\n");; X2 M' ?, w- F* d
- if(write(fd, buffer, strlen(buffer)) < 0). R0 [. Q$ J) B9 d
- break;+ J ^* R$ N8 r
- printf("sending frame\n");
2 Q% B) j( l, { - if(write(fd, frame, frame_size) < 0)
* C. @5 g P4 q- | c6 c2 y+ w* _& C - break;
) W/ r+ E, p$ h2 L - printf("sending boundary\n");: }; a& m+ S; R" l4 D k$ I
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");1 O! c* K" l* N N9 K, t: T( Q& ^% q
- if(write(fd, buffer, strlen(buffer)) < 0)
" L& x$ x4 L9 U1 P; P - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。  1 R f6 Z9 q6 X+ C) ]. M

' O) ^6 f+ w, {8 `二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:, x. Y; M. X# K3 u2 g r
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)7 A- _5 h' X! p' q ^& |% }
- {' a! P- Y; c$ U5 [( x. _
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
5 j- M+ R. u: P7 D - if(*socket_found == (~0))3 O, H2 l- r6 p& Y' d6 m t
- {/ r0 w( V/ [" Q
- printf("Create udp send socket failed!\n"); V% |1 o$ o* }. J3 k1 ~
- return -1;
% s, h6 v9 B) t) Z8 c3 u( S - }- i; f" j' M" b
- addr->sin_family = AF_INET;0 d* t0 ^% `. ?
- addr->sin_addr.s_addr = inet_addr(ip);3 k3 K, c- w! F+ m
- addr->sin_port = htons(port);& v$ h+ T( L8 F7 k, z5 I6 r
- memset(addr->sin_zero, 0, 8);
# l4 P+ v7 ~+ t9 s. Y - return 0;
# q7 ]4 u- t- s' U - }
复制代码 5 M( x% @: F- l- M$ }
6 z t% u2 l, y# B# x2 l而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
$ w; K6 {# b" d7 P: F$ R$ ^6 ~& @' Z* l( z" y- ~* j6 }9 e6 g' s
Y: d& c( K# b; v9 ~7 z
- while(fend > 0)
0 l6 {/ k$ U# T' S* r6 w% D - {
" c1 j+ A* S5 y/ _ - memset(picture.data , 0 , sizeof(picture.data));
+ R7 @9 J1 U4 x) x - fread(picture.data , UDP_FRAME_LEN , 1, fp);
+ ~1 D7 T. z1 y3 h3 m5 \ - if(fend >= UDP_FRAME_LEN)2 h4 d0 F) m4 u5 m" d# m9 p! E
- {! P+ E& B' v4 {3 I9 W
- picture.length = UDP_FRAME_LEN;4 p9 ^' J+ A# V
- picture.fin = 0;
2 O5 v) G, b* m' q$ m& t6 o. ~ - }
# p$ H8 l. ]( ^5 G - else' m6 j- x% |0 V# W
- {' B! x' O& E: R# v, x' ~. o( }; M
- picture.length = fend;" a' K e8 i# r) r6 Y @- w( H
- picture.fin = 1;+ a: p! I' z: o1 F3 o
- }+ u0 p" C) T) y4 {. Q( B7 {
- //printf("sendbytes = %d \n",sendbytes);
, M( ?% f$ f' x - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
, ^4 u6 l! B5 j+ k6 i7 P1 t - if(sendbytes == -1)
# l2 w/ e5 x7 |8 G* W! s - {9 m. t' V3 m0 Q% _1 k4 ` n
- printf("Send Picture Failed!d\n");
* r4 ~3 ?5 ?4 \& K J& x/ z - return -1; Q. I5 `3 @1 F
- }, v7 I7 n/ t* d7 b; w
- else0 N3 o2 o& u$ Y3 ?6 _5 ~4 D& o
- {
$ V5 V: ~( B. X" f- i! Q/ v - fend -= UDP_FRAME_LEN;
6 A& b: N. L4 G7 u% Z0 d - }% Q! q! C4 }. r$ U8 H3 d
- }
复制代码 7 Z6 s' A. T. x5 ^2 ]( A' e- {; ]: R
: J9 J# r+ `) [# e
 ; c! t0 P& a3 v1 E v
% k$ b( Y7 @4 y. H8 }% {
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |