本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 9 _ W$ `- O+ B
" Y8 l, f8 k/ d( i6 v
5 N) t9 P o& t$ C3 h1 c; A作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html
4 ~+ q2 z, m) a7 T0 d1 m* B c6 M6 f8 T1 }' y& @+ H
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 5 w D+ N# K5 Y# J/ T
 ' ~6 e) W/ K" x7 v
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 Y# b$ N& f5 A8 p
一、HTTP网页服务器
5 E2 l3 A& V7 c* Z先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)2 e; N' w; L; w) M3 e6 [2 W' V
- {
9 k9 |2 G" H A1 ?; t - struct sockaddr_in servaddr;
0 O- Y1 N$ U( | - socklen_t addrsize = sizeof(struct sockaddr);- [ B# [4 D/ m: h% |
- bzero(&servaddr , sizeof(servaddr));' H1 m# c- R2 y; U1 l$ q" o0 g
- servaddr.sin_family = AF_INET;
& x/ u) B; Z0 z! p3 x - servaddr.sin_addr.s_addr = inet_addr(ip);5 w/ v }+ T9 h! u# {6 H+ y
- servaddr.sin_port = htons(port);
! i5 O0 P2 }& F. L6 q! q6 ]: L - int ret;% m( H- t I5 d. @$ J
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
; ^( M- y! P. W - { v' |7 C- a+ R
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);" B j2 ^) T/ z' f. G% G
- return -1;4 T' F' K# s- Z; d- [9 \
- }6 T4 V" o) f; O$ T; c0 A' W
- int on = 1;
. T. I5 B0 g- G4 ] O* z& Y - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)6 o8 L [2 C6 q0 k( l
- {
i- z' s, O i5 `0 V6 P& R- ? - printf("setsockopt error\n");+ D3 o" f8 X4 e1 w" `# @* I" M8 ^4 S
- }
" l0 D$ K4 Y% [$ I* [0 G9 R) e$ U% T - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);+ H% ^% i8 w% R$ E* O" r
- if(ret == -1)
" P3 \1 ]7 _# K! j' [0 ] - {: C3 g$ p5 [4 S1 _! m& o5 L
- printf("Tcp bind faiLED!\n");' e5 o2 H) `1 ]/ l0 C) T4 o
- return -1;1 I$ a6 w2 ?0 U( n
- }
: g7 b4 T4 K4 O3 `; q6 I - if(listen(*socket_found , 5) == -1) x/ ^, r5 t6 o
- {
3 I- o+ q: `- a" _- ?1 K \ - printf("Listen failed!\n");2 x# ^: q, z( O
- return -1;
8 I3 L/ o7 |% g$ }9 S. i - }
; o" X9 F- ?1 ]# ^, Q - return 0;! t/ m# m( ?# H. b# }
- }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
: p: q7 M2 k; @3 J X W$ G! P - void * Thread_TCP_Web_Recv(void *arg)/ ^6 o7 @& C8 B4 b
- {0 d6 G+ l1 L( r. ^9 e3 a0 r
- 。。。
9 M7 [3 G5 l3 m2 i2 n( Z& z' p - while(1)
/ }; C/ A7 Y! u& q - {
' R8 t6 S- S! o C7 c/ `' x - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
& ]! I& Q4 a1 n9 k$ X - printf("fd_socket_conn = accept()\n");
9 f i: a% i1 k. k- @ - 。。。
9 r* {. y% p$ ? X6 R/ u8 q - recv(fd_socket_conn , recvbuf , 1000 , 0);* }0 P9 n/ c9 Y4 ~& j; B/ o
- }! a. l( _1 }$ U
- 。。。& Z$ j) y( ~# A5 @$ Y
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);
; v7 X6 {/ r: l% Z1 k - pic_tmpbuffer = pic.tmpbuffer;
& b* R$ `! ]8 a2 }0 J9 o4 M1 e - pic.tmpbytesused = buff.bytesused;
2 f% U( F! d5 T5 V# m1 Y4 }$ t, Z - pic_tmpbytesused = pic.tmpbytesused;) X0 k* z1 a2 x$ m, J5 ^
- pthread_cond_broadcast(&pct);7 k# u+ U* Y& A4 q& I
- pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
- V) A7 ~5 @ B, D* j - pthread_cond_t pct;% Z5 x6 {: L+ j/ |8 o$ j2 W
- int main(int argc, char* argv[])
$ h( Y7 W! s4 v; W7 }4 _. k - {
# b0 F' S( e) t! L0 ?8 _ - ...
, I8 N& |# x. r! J3 i - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);- F% A$ r+ P# }' C
- pthread_mutex_init(&pmt , NULL);
" s! b% m( T! K) b - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
O# s7 S; R. a, S2 L' H% R$ ~ - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
1 n& Z7 b" `) q l) P - ...0 X& h$ e V* A
- while(1)9 y0 q8 m- H1 M' V7 v5 h' }* {; M
- {
( M( E& H3 y/ |/ i) O6 M - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);* d/ M% M, G# h0 H0 d- P
- ...4 l* k3 J7 `; S( G# `3 e
- }5 d- p u. a8 [- `! [" v
- ...
$ M" D3 U$ l% m' } - }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">3 r9 N7 t- H& I
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \ ^0 \3 Y. r) K, E+ G
- "Server: MJPG-Streamer/0.2\r\n" \. \+ Y& c W7 [. @, z0 U
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \( g9 i- l( q' S( U
- "Pragma: no-cache\r\n" \( q1 g0 @7 m1 `! w
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
' o; n7 o' Y* y }. F/ m - #define BOUNDARY "boundarydonotcross"
9 I" ]9 V! e: Y( D3 p* U - printf("preparing header\n");4 G- z. L4 p! `, e7 e( R% c
- sprintf(buffer, "HTTP/1.0 200 OK\r\n" \% H7 `. `. q" y& V5 X6 k+ w
- "Access-Control-Allow-Origin: *\r\n" \6 l$ b2 d( b/ F, S7 @5 Z" P
- STD_HEADER \
2 [+ Y# y* E9 [$ _; f g - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \/ {' d& f( `) k& K O
- "\r\n" \6 g6 G% G2 _9 W: \
- "--" BOUNDARY "\r\n");
) ]+ `8 P; I3 r' `3 l - if(write(fd, buffer, strlen(buffer)) < 0)
1 q# g* I. E! g; f p, ~, f8 ^ - {
% i+ z2 p2 ^6 o: }" x! d, C - free(frame);
% o. N3 o: }$ R, r' b) f8 d. m+ x( Z - return;; t9 b$ P. L. ?5 i% r* \! U: n
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
3 y5 p" Q. J6 z6 w) n; h - "Content-Length: %d\r\n" \( \/ k: F0 u1 I, n ]$ B
- "X-Timestamp: %d.%06d\r\n" \
4 X* ]1 T/ T9 A% s2 ~. b! e) N- p9 u& [ - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec); u$ k- S' U+ {
- printf("sending intemdiate header\n");. t9 S7 `6 q- C% ~' d: o
- if(write(fd, buffer, strlen(buffer)) < 0)
/ V: h) X% g1 P3 b: v1 U) ?: c# ? - break;
! M3 m) N- J1 y) e0 S8 } - printf("sending frame\n");" {( _: E$ c5 ^/ T
- if(write(fd, frame, frame_size) < 0)
4 Y; l! N5 A- i1 I- o1 \, |+ @+ ` - break;
4 ]. K U! i. G1 q" ]/ a - printf("sending boundary\n");; {3 l/ k! ^0 M/ M$ W, e
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");& y3 Q$ ?7 ^6 t" C! H5 Z+ c: G
- if(write(fd, buffer, strlen(buffer)) < 0)
4 d' N, ~7 M' q# Q - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
k: O, I: u+ L4 }
7 l, o4 Q1 V; ]# c: r* {1 p9 ?/ q二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
4 e" Y; q' p$ M: @& D. t- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)" w; }. [) R1 [( L/ L" ]& A
- { ~- M1 O5 ~8 p" s$ v' @
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
" O4 E) N5 |' u( m i# p+ r - if(*socket_found == (~0))
% ? ~* d. R" r* C' c - {
2 t$ Z/ }$ B' \! y6 {6 v/ Z7 { - printf("Create udp send socket failed!\n");
1 z2 Q4 U' z9 H6 c, o; {$ I - return -1;
1 A$ h; i) b! U- `6 \ - }
( p, O1 f& x+ r: v - addr->sin_family = AF_INET;# V! O+ f$ X: |* I6 {6 f. `+ M+ D
- addr->sin_addr.s_addr = inet_addr(ip);( ]6 V0 r0 u3 c4 A6 L+ M
- addr->sin_port = htons(port);
" Y& L" u! {. I - memset(addr->sin_zero, 0, 8);; h* _9 E- [* G* w6 Q1 M: K
- return 0;
- J1 D: L) q1 l& K- ?- o - }
复制代码
: N6 K/ U/ u6 S. W( N3 n2 K4 `
7 k' A% [+ H. T& E& x而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
5 Q! I9 N% D% x0 P- o4 O: C' U, h, G+ v
, u7 |, V$ q" S$ \5 p- while(fend > 0)
1 W$ ]+ P" A' r9 K; a* D - {
6 o) C. A9 Y) M - memset(picture.data , 0 , sizeof(picture.data)); n7 O4 {5 ]' j7 ^; |
- fread(picture.data , UDP_FRAME_LEN , 1, fp);
3 B6 Q' I/ m7 v. B5 x' Z' s+ Y - if(fend >= UDP_FRAME_LEN)$ F( P9 ~, O9 C0 O
- {
6 a- t+ j6 X4 W0 X! C- i - picture.length = UDP_FRAME_LEN;
2 l& i1 Q; k. V" t# x - picture.fin = 0;
j3 e+ Q% w& `$ b: w3 l - }3 _& C0 t* v- k9 L
- else4 j4 c a7 |$ B' l s7 a6 k
- {" v* E2 G3 e: a( a
- picture.length = fend;* z: Q2 ?6 d* y' p" T' P
- picture.fin = 1;% r/ k2 m; j+ H0 q
- }
! l& Y$ n( G2 S, V- N - //printf("sendbytes = %d \n",sendbytes);
~0 o3 ]/ W' b' w, a- l - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
0 H& R |% p& ?8 C! B- O# B2 w - if(sendbytes == -1)
3 ?) `- ]# {/ P3 X - {: p9 F0 F, \4 A! D8 e
- printf("Send Picture Failed!d\n");
" M" s" F/ E. C$ M1 u8 N; F1 { - return -1;
4 u+ ?5 J, X4 v5 L - }
# ?: z) u/ K7 L8 s - else
" e; u# }( O3 _) L E5 v5 Y8 I# N - {
( T0 P$ j# I1 x' h0 p5 b/ ` - fend -= UDP_FRAME_LEN;. _( H. T3 ^! J0 T1 m
- }
/ W0 j5 ]& V3 y9 [ - }
复制代码 $ x B% C- `" h) \0 ^3 {
2 I$ W" t0 T8 l- E9 M' O& p$ T
 ( e5 y Z% E m
; t0 A$ P2 q5 H0 MiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |