本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
; Q# K0 Y0 y$ s: T+ m6 p* n! L4 B6 K* G% C, n/ G" N, K6 y
 s8 U4 x+ w2 \* e0 ~# X
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html3 V; Q; Y$ A% ~
; G x5 N$ C, L
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 " @0 N0 O: b4 H! m, h; N; `
 6 A3 L. A+ o l& X+ \8 k
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。
# T! F0 j& D8 _9 d一、HTTP网页服务器# \2 L) F H. x+ ~
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port), A* U3 t; ^& b! {& H+ K, f
- {
# z# j0 r# F! O& d% z - struct sockaddr_in servaddr;
7 D5 W* x% V) M% l8 T ^2 O5 D - socklen_t addrsize = sizeof(struct sockaddr);8 w# [. g5 _9 u# [5 [0 H) i
- bzero(&servaddr , sizeof(servaddr));% O7 H2 n% f N
- servaddr.sin_family = AF_INET;
. m% a$ e4 w2 R) E I5 T6 X - servaddr.sin_addr.s_addr = inet_addr(ip);
, h/ e) r6 O9 p7 u( B - servaddr.sin_port = htons(port);3 Y5 X( U! F5 ^5 R4 |; i# P t
- int ret;
) N, W4 s9 d6 \ T" Y, E - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)0 k9 x/ V3 a3 F, J. s% v
- {& I% ]! y- }: R% |7 R( X' F0 w
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);3 m M$ L6 z7 k {% f; d5 U
- return -1;
, ]! L$ v9 p& E* F" @ - }
, B3 G. U6 }9 Z& ? - int on = 1;
1 y$ M& b# J7 z/ p/ l: p1 a - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
: h4 W" {1 Y/ ]6 D1 d u% c: L6 k8 Y" ^; F - {
: N4 v6 X% b5 ~* J4 X) z7 J, a( a3 Y - printf("setsockopt error\n");; s( I$ D) Q! ?7 `5 ?
- }
6 z& p2 i! n0 K; V8 w# S - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);. t2 S9 t7 L) s- ~
- if(ret == -1); F5 [% q- L- K- i
- {
4 m4 W' E* @6 P8 R - printf("Tcp bind faiLED!\n");7 Y% f; I% d9 z' b
- return -1;: N8 M3 u9 B/ Y; ]9 ^: B4 Y, n
- }
8 ~0 c, v; a! E' d' z - if(listen(*socket_found , 5) == -1)5 p2 n7 F! n, f" i9 t; S
- {6 Q' k1 M5 F% y8 Y& K7 D1 h
- printf("Listen failed!\n");7 s5 o2 d7 u% h
- return -1;
u' Q5 q, [% N3 g% P% v7 `; i* S - }$ l- D% p3 a1 D" q( I; j
- return 0;/ a% E. v) B% M8 C. |4 y& t
- }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);& i" r( ~: H+ K* n% A' \
- void * Thread_TCP_Web_Recv(void *arg)/ X l' o5 o/ x A
- {
1 N, s! X e4 d. L0 ?4 p* C6 ]- f& F: h - 。。。
) N' i/ r) W/ q - while(1)' } L0 L. e' P" V' {, B4 }
- {. a4 a* q8 k2 q% v
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);0 q6 ~& ~) S% b' p; ]) o
- printf("fd_socket_conn = accept()\n");
! R3 i. p' G1 W, T% r - 。。。
8 |+ c; d4 k1 ]6 M+ O" S- Q - recv(fd_socket_conn , recvbuf , 1000 , 0);2 g6 i. R/ V1 O3 ]
- }
8 n! J( I V p$ l$ F# r - 。。。
( g( L3 B7 I& p. n: `( Z8 t8 c - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);$ B) Q9 [1 \* Z6 _3 M9 ^5 o
- pic_tmpbuffer = pic.tmpbuffer;' i+ `* @1 N3 g9 m; h7 C
- pic.tmpbytesused = buff.bytesused;
# ?, E, z. c, C! I9 o' I# H$ E: Q - pic_tmpbytesused = pic.tmpbytesused;
0 P6 |: u7 Y9 V. K - pthread_cond_broadcast(&pct);
, H9 J6 l7 e% M" o( Q - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;, w6 K* V9 |, e- T' I& S) [! s5 _5 P
- pthread_cond_t pct;& O* ^3 ~: i/ l y, z5 G
- int main(int argc, char* argv[])6 s3 G) J# k8 `/ ^% w1 |2 a
- {
% U8 [+ | u; e+ _ - ...
& Q' t y$ L7 f) P - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
* j* r4 t$ d$ Z/ Q3 V5 V - pthread_mutex_init(&pmt , NULL);
# v( f8 Y: u0 r0 ` g- Z - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
, S, T' h$ C5 [' F* s _ - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);8 S q( T6 v& e3 f5 l* Q
- ..." b1 T {% z9 M: P8 p; K0 H
- while(1)
, F$ G% X: D9 U9 a% J2 z7 Z - {
+ z) w( R) h/ l. Z% y; \/ B" i" p - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
( E y/ t4 N$ u: T - ...% b6 h5 f: `" i8 D) U- i
- }
1 Y, W9 M* L$ G - ...
# W9 Q* @; |2 A2 b) v1 \" B; @ - }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
& g* t3 h+ n+ Q - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \+ t' s6 R$ v" M" j
- "Server: MJPG-Streamer/0.2\r\n" \
; C) I" _% s7 t - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \' [# R* g- |. r) ^
- "Pragma: no-cache\r\n" \ a/ e) h/ C0 S! A
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"7 Y ~% J' u9 @2 r" X6 J( o* t
- #define BOUNDARY "boundarydonotcross"
$ l6 ~6 C, p1 b) L% @% r8 R - printf("preparing header\n");
) W! B/ G' u( d - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
( r5 s! P# Z; V2 o1 B - "Access-Control-Allow-Origin: *\r\n" \
3 E$ t# ]# X6 Z& o+ X - STD_HEADER \
/ G' m/ N+ Y) Q# C. W+ F+ ` - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \$ y4 A4 F: `! F" ~
- "\r\n" \
% m, u# @8 }! _+ k, k& N - "--" BOUNDARY "\r\n");# u6 t9 m% w: C. y$ b( z7 x* ^
- if(write(fd, buffer, strlen(buffer)) < 0)/ B! }2 j: Z* K) ]2 l! p
- {# f5 u/ Q. C& t9 ~( [0 l+ z% D
- free(frame);6 D- r$ u6 j+ |# n% |4 Z- x9 W7 X
- return;
" n( i; Z* h8 `5 e - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \& J9 X4 S5 g. ^- W3 X3 v
- "Content-Length: %d\r\n" \$ i4 N* g& g$ {5 J8 [2 G+ c: l
- "X-Timestamp: %d.%06d\r\n" \4 l( M g( [; o# U
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
5 Z4 e$ b+ ?! {# y0 g% t - printf("sending intemdiate header\n");
2 l* G. E( K( l3 c$ L7 s3 { - if(write(fd, buffer, strlen(buffer)) < 0)
3 y; s6 S% [* }! }* T; I - break;, i. C* q' j' T9 J
- printf("sending frame\n");2 }1 I5 y4 ], `# k( X8 B
- if(write(fd, frame, frame_size) < 0)
" @! Q- D/ @" P - break;! b4 E. w. _ c) ^4 E, ~$ W3 ^
- printf("sending boundary\n");0 m6 N/ A, I& I; T% O( b
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
0 G9 @2 D2 o; Z - if(write(fd, buffer, strlen(buffer)) < 0)
2 ^( t2 S; }, m6 ^ - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。  8 x3 |$ `8 q$ I6 Y2 v% L
 & X; o3 I2 a8 N' F. A
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:# x8 O5 }& y( W4 @* x, p, ^
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)0 g9 _: z/ V) ]; J9 O1 s" \
- {
% n' W. w/ K$ d7 e& {, A) K - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);* i% w+ \# n/ ?4 L9 z
- if(*socket_found == (~0))6 {" [" f. b% l! A( ^+ x
- {
$ @' v) m8 L& R* O' u7 b" f# H - printf("Create udp send socket failed!\n");+ B5 d6 B5 V( g w3 W
- return -1;
6 k0 J! r; i* I6 t7 r - }
; f* B/ ^2 }9 e0 G- B; [3 c v - addr->sin_family = AF_INET;2 r# B6 E* U& L# D* N
- addr->sin_addr.s_addr = inet_addr(ip);
% i! `6 Z. u. m: x$ x& o - addr->sin_port = htons(port);
* J+ m' \5 Q6 Q$ K& o1 u) L - memset(addr->sin_zero, 0, 8); ^7 m) F, Q2 y8 G1 F9 A
- return 0;
" ^) M2 a5 l6 z8 n W, F - }
复制代码 / N) ]. V# w5 a8 D$ g% ^* _
8 b J9 u8 b+ G- n% G而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
% _6 F. D; {( O$ ?( x
7 P' ^3 |4 C" I9 N' E' Q" e" n, q$ H; k
- while(fend > 0)
- G+ `2 q- i: e: R! V, R+ f - {7 f, c! X0 t1 w7 ]# S( H
- memset(picture.data , 0 , sizeof(picture.data));
7 W& }( e6 n9 i# c; q. P - fread(picture.data , UDP_FRAME_LEN , 1, fp);& i3 z3 F0 `, s2 r/ C8 H4 [
- if(fend >= UDP_FRAME_LEN)
) p4 ~7 n, P. a9 g$ p( a: _' g - {6 @; p; C' O d4 R. ?* z w
- picture.length = UDP_FRAME_LEN;
1 R& H6 Y/ j) K; @ - picture.fin = 0;
$ S. [) u4 E( G0 ]) Y- k - }
3 N" ?2 \/ I2 W: A' i - else
\7 d( J, v; {) a - {
+ ^+ V# K1 F# ]6 @/ B) I' } - picture.length = fend;
8 `% W7 s4 g/ }" K* v5 x% B - picture.fin = 1;; N' t2 ^) l5 z5 x2 }
- }4 f; K% y# J5 A' u9 @$ L
- //printf("sendbytes = %d \n",sendbytes);
j* O c" `) u7 t# }8 H - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);. ^& r3 O+ w, ?8 s% `2 j. c$ N! x
- if(sendbytes == -1): x% G. G0 T( `6 @! z) v
- {( f+ H) T, B1 ]: o; r0 G3 F7 }" L
- printf("Send Picture Failed!d\n");
$ b( |& r3 [/ } - return -1;7 ]: N7 Q* C5 ~- q; F2 ~
- }
1 w, X4 \3 f# W# z3 o/ b - else
# K+ Y) h ]1 a. U5 j - {! Z3 H7 J8 J T2 O% q5 T
- fend -= UDP_FRAME_LEN;
f& O9 ~7 ^) b& x1 K) Z* h1 L - }
9 T, t/ N5 o+ p' l - }
复制代码 ( |: S. B I. h& s* b8 \, @, S* P3 c& G
5 ^# @2 d0 G/ F) Q; n
4 Z0 N* d- `- v9 Z% Q6 A
# q$ p* m, T. s! p. j' B$ V+ [1 KiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |