本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
8 t, S+ _* N. \4 ?6 v4 `! ?+ q( o& U% _' w" A8 N

) i( \/ q& g" @作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html
* O: O; ~, _: G+ |( \2 N; L. Y/ S; o% p
W% u1 S+ F8 ?; `, j本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 , ]' r' p* j" ^! x; j

9 `% Y% U1 x4 v" `) w两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。
1 x# l3 _! E" ^4 M一、HTTP网页服务器
1 A6 @( U+ K$ |0 u先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
% m, V0 C8 W$ m9 K% }% w3 t3 u - {. }3 L8 Q5 l) a) X8 u/ E
- struct sockaddr_in servaddr;: F: m5 }; q S/ z4 m
- socklen_t addrsize = sizeof(struct sockaddr);
' e- j7 L( |+ e) F% |% P4 B* J - bzero(&servaddr , sizeof(servaddr));
6 q0 E7 s& a* X. g2 |" B+ V. p - servaddr.sin_family = AF_INET;
1 A, ?( Y) }/ A2 Y" u7 w - servaddr.sin_addr.s_addr = inet_addr(ip);& X: V! y3 E( @2 Q+ X6 Z9 x
- servaddr.sin_port = htons(port);
8 H. R1 e5 d! ]5 x3 k - int ret;# m+ W- G9 e3 }0 G6 c, w5 I' {' U
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
' |- d. @1 H7 W$ E - {, x5 ?3 c0 W+ S6 s/ Z
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
3 {- `1 ` k* }2 N - return -1;/ H9 N9 L$ X4 p6 K+ v" w9 u
- }
& @: G1 a2 H: } d3 i - int on = 1;
e; [- h- w, |; c - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
( f* f# F0 P y; M5 G% B( v7 b - {
8 R0 o* y- v% ?* v0 o - printf("setsockopt error\n");
# _2 s! T7 [2 J4 d8 }6 t - }
1 {+ p- ^ P& j2 u9 R - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);. D0 M9 A/ `' b1 M$ Q
- if(ret == -1)! k1 s3 M* B; |$ m7 Y d( S
- {
1 R$ z4 a. u( `, s7 J - printf("Tcp bind faiLED!\n");
% f% o) N8 @ E o9 ` - return -1; ]# B! X& Y; T0 A2 S. m2 P
- }9 G: c0 v) Z1 T' w
- if(listen(*socket_found , 5) == -1)
N. {- B8 s6 d3 Z - {
! M/ m/ \$ W' t - printf("Listen failed!\n"); n3 H7 a; q$ Z2 `$ X% E
- return -1;
8 k, _; G: V& n - }
/ M6 l& y+ ~# ]; q: \, M - return 0;9 v1 p. N; O2 {; u
- }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
S. H! N3 P% W9 H, C - void * Thread_TCP_Web_Recv(void *arg)9 |. p2 I1 L% w
- {5 g( }) L5 t6 n; n& l1 e, q) T, N
- 。。。: {. F$ y9 P2 t
- while(1)
6 l. J& j/ c* z - {
' h: W( z( x4 a6 u- D3 @% B - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
. R8 o& s) Y7 A: H - printf("fd_socket_conn = accept()\n");
/ b: W) }: J7 I) s5 U - 。。。
! j& g+ e+ s7 [( h' g$ k4 l" p - recv(fd_socket_conn , recvbuf , 1000 , 0);& _8 C& `) }1 E6 v0 h ?4 H/ T
- }, j) f' P/ R; R) Z5 P
- 。。。
) S% @* M6 F4 g2 [& e - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);
0 z6 G4 Q: \0 i* u2 P* t! P - pic_tmpbuffer = pic.tmpbuffer;9 k* g. \6 A L) p: H5 A
- pic.tmpbytesused = buff.bytesused;
) U4 [ V& `" _4 s d7 Z - pic_tmpbytesused = pic.tmpbytesused;+ u6 z! k) ?1 Y1 `
- pthread_cond_broadcast(&pct);- B: e5 ?3 {0 j8 N, A
- pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;' M& g$ }3 ]( J. k0 c& ^) a' J6 g, O5 S+ a* \
- pthread_cond_t pct;$ w# t: y# G& H/ b1 t
- int main(int argc, char* argv[])0 E- Y0 }, \. Q3 t) K3 S5 D6 `- E
- {" S& c/ T" p* R6 I$ L
- ...
# q5 I1 g5 u, F& a1 r1 m - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);) }4 D d; x d* g6 {, ?# t, ]
- pthread_mutex_init(&pmt , NULL);8 J9 d9 J: j3 `' V3 E- @# r
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL); {0 l x$ M+ v& ?+ G
- pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);8 j! a" a5 T" p" n, E
- ...
6 ]. @3 \. M. U0 O3 j; u - while(1)5 S4 A8 d, ^" }) \, ^; H
- {
% J6 _" V2 | m( `* Q- b - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);/ V( V/ P% `, r; a Q0 Z& D7 O- V6 |+ P
- ...
( Z/ s+ x) m5 Z0 V5 E! W - }2 o: \) M' O; m- {0 J. D
- ...
: k0 f! K) ]' j$ C - }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
0 c: X+ U8 }; W* U' c: f( h - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \3 y8 }+ `) g8 \6 Q: `/ ?
- "Server: MJPG-Streamer/0.2\r\n" \
: p+ D4 j' q2 q* z6 h; [( A. ^* U2 W - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
! X7 j# \* {# w! [( h& u - "Pragma: no-cache\r\n" \
9 I8 X6 F' W4 \ - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"- N `% w: V) G- I9 n% Z
- #define BOUNDARY "boundarydonotcross"7 \ `2 l1 h7 U" c' f0 U. i
- printf("preparing header\n");5 f) M: u: h: D3 D9 l
- sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
1 J# r) X' o3 |2 W7 _. g1 | - "Access-Control-Allow-Origin: *\r\n" \
* Z: F; S/ f& l& y) P) U( n% B - STD_HEADER \
6 B3 Q& H- B) j) { - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
" b9 o& i. y* c+ o/ r3 ^. I6 g/ J8 [ - "\r\n" \
# F4 A* t& H4 i9 q& i8 J; e* p5 v2 h - "--" BOUNDARY "\r\n");
7 B$ A' q% a3 J0 x- W - if(write(fd, buffer, strlen(buffer)) < 0)
$ D) N1 |+ e' u. k6 w# p9 T - {
, X; y0 Z. [9 v, y* S - free(frame);# q1 t8 |. E9 I8 k7 f: e# U2 S+ T
- return;
$ t0 _/ _; X- x& P* O" q# M9 C' K - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
$ C5 F( u% S$ N - "Content-Length: %d\r\n" \
( r+ R9 O. m3 L2 p/ e - "X-Timestamp: %d.%06d\r\n" \ y& j, n; P3 u
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
4 g, _6 W4 o; W9 k3 p$ `9 K - printf("sending intemdiate header\n");( ~4 N- S- N7 D' e
- if(write(fd, buffer, strlen(buffer)) < 0)4 Z! D) W1 J) o
- break;
6 L) U) ]- i: x/ ?6 R; H - printf("sending frame\n");
9 z+ i3 g# s' a% Q* u - if(write(fd, frame, frame_size) < 0)
" H" {3 L, U \: q - break;6 Q. G' X+ F. ?# \8 |2 L
- printf("sending boundary\n");
4 Q5 W7 `' _. J& P \1 ?/ z7 y - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");2 d \2 t, K( L O6 c2 r
- if(write(fd, buffer, strlen(buffer)) < 0)5 z* W2 k3 w3 X8 s4 T
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
7 J2 Z0 x5 D- E : w% z" ~ t9 c
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:# A6 v1 |% e3 R* h+ x0 t- C$ Y
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)9 u" b+ ]" K9 w
- {* P3 x; L+ E& \+ h! R
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
0 Q% x( W0 f3 | - if(*socket_found == (~0))
0 N( Y' ]% D/ Q9 K, E7 y$ V' S- k" [ - {" g7 f! j2 n9 M5 a* `$ i
- printf("Create udp send socket failed!\n");
' ^' K1 ~ p: X$ k# W$ F7 g" }# c& _ - return -1;
/ g$ F0 O5 P/ B: V9 G1 q9 u$ M - }
5 Z0 B& q. F0 z! r- i - addr->sin_family = AF_INET;
. h8 c$ }( m1 U. j9 [ - addr->sin_addr.s_addr = inet_addr(ip);
2 d: q( v1 y4 X& \% h - addr->sin_port = htons(port);4 `1 f. T6 @. d5 r0 |( n9 \
- memset(addr->sin_zero, 0, 8);
1 @1 Z* Z4 ?) Y - return 0;
1 n/ ?: i+ }- g- `0 d+ \( B* I - }
复制代码
) N* N; ]+ u: S5 a: P: o$ x" |3 z
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
7 k# x5 t! o1 j: d" y* ~+ G& P b% L6 m
5 p b8 P: I3 m0 ` K! ~
- while(fend > 0)
# q% H: r9 ~5 i: ?2 k1 l0 C$ m5 z% p - {) F$ Z/ C( K% z
- memset(picture.data , 0 , sizeof(picture.data));
& t: e1 Y& a0 \" ]- G - fread(picture.data , UDP_FRAME_LEN , 1, fp);
& r1 r: E3 [; L. P, c/ Y - if(fend >= UDP_FRAME_LEN)
' o! e* }- {# Q) o+ x5 A0 z" U - {
3 X1 d# b; X2 r9 ]- @: E - picture.length = UDP_FRAME_LEN;& X: F9 `' n; |1 G
- picture.fin = 0;
/ I* ^+ _$ c- A - }
5 }# g0 K0 n$ b$ I7 z - else4 W: o% k `7 Y7 B
- {5 U5 z. H$ Y& {: K! a
- picture.length = fend;
7 d% ? c! p: ~5 p - picture.fin = 1;& w# \- T0 B. Y9 t2 g
- }# _* ~ v* V, o4 q
- //printf("sendbytes = %d \n",sendbytes);
2 u' U' I4 j0 m. p) D8 m! D - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
! q7 M: Q! t% w6 g7 G - if(sendbytes == -1)6 J/ u9 s$ w' z( w3 R& n/ E- k/ ~
- {! d$ h) |( h4 i ^
- printf("Send Picture Failed!d\n");9 G4 Q; B& c, q
- return -1;1 \* Z& {0 |7 c" T9 H) e) |
- }
) _( m F1 V# u+ W8 n* }; o - else
/ D2 s* v, H( d7 ?% F - {3 p( h3 M) b2 x! h4 Q4 \# V" y
- fend -= UDP_FRAME_LEN;+ r: n" B1 O( l" `! x6 @/ Z
- }
: z- B. H0 I% v, f* t - }
复制代码
% V7 o$ \% q/ |) X2 }5 L
: C* }: x" G+ R6 E6 ]
9 D" O1 C* d0 l* f
7 w, ]4 N+ x. M0 C' T yiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |