本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
3 \- _9 t$ R) o1 g$ ~2 h0 H& d6 W/ @) d8 o1 `; N, f. s y

1 d4 U4 l% ^: a/ Z+ x$ [作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html9 E$ ]* R# R( p6 W6 l$ j
0 l' c* j. l# ?4 D8 Y4 d
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 " z* Y4 K; \' B0 s+ O& o5 `# S
 I( @( X% L3 X3 d
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 : F( j. w1 i' W4 b% c8 W; \& A0 A
一、HTTP网页服务器
4 \0 `/ J+ r1 W7 u8 [, a, \先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)% O3 U: A- g9 M+ p% M$ @
- {+ H# Y2 @5 k4 q' l
- struct sockaddr_in servaddr;6 ?4 k! \: a& Q# @% Z7 ^5 {
- socklen_t addrsize = sizeof(struct sockaddr);" k- H5 C$ Q0 X: q0 A/ r* e5 A* ]) d, X
- bzero(&servaddr , sizeof(servaddr));0 F7 {/ {1 O7 F( F( M5 {; ]; ~7 t
- servaddr.sin_family = AF_INET;% H" R% l9 S2 B" K, }
- servaddr.sin_addr.s_addr = inet_addr(ip);
|/ }' t# i' j7 N6 D4 E0 |% s - servaddr.sin_port = htons(port);% @) K+ |0 V( }; K0 ]- [! X
- int ret;+ n: z3 J2 z, g7 r }8 `; o
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
4 F" [ n: v$ W$ h - {; a# w; S7 {8 U3 n: i3 t6 X
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);; Q+ q" [. ]; E; h( Z* H$ h
- return -1;
- V( Z4 u1 [% q - }8 F" F# m$ c9 k/ M4 {7 ]
- int on = 1;
5 ^' A; i4 F7 {) b- G9 j, Z - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)* d% R8 O/ H/ I
- {
7 C5 n a# {/ K. d4 {, \ - printf("setsockopt error\n");9 p* Y) D( |& j( ?. ?$ f% ~
- }
5 v+ e" `- S+ j' T4 h0 d! N - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);' c) ]% j( i4 t$ \1 }7 E
- if(ret == -1)7 o& w z+ X4 u t3 D w4 M
- {% e, u) @4 A0 O8 f( w7 j; v4 f( ~: x
- printf("Tcp bind faiLED!\n");3 g( H2 t( j; E
- return -1;
* |$ l/ a2 S x( N9 u$ x - }
* R2 W. y' O3 v7 Y* T - if(listen(*socket_found , 5) == -1), y9 y6 a2 w, Z; ?# B
- {5 c, h0 V# h& X. f& b9 E) r
- printf("Listen failed!\n");
$ x6 `8 U* `- X1 k" z - return -1;* a8 A$ M1 a" n8 V4 t! a- I) L( {
- }- Y0 F% w& e+ n" D! T* E
- return 0;# w+ _3 s$ X5 G7 a% I2 N4 Q0 R
- }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
: N3 F* A4 S3 F! v0 V - void * Thread_TCP_Web_Recv(void *arg)
- \) P* g) l8 H: q - {; A9 E: ^ z4 {- f
- 。。。
" `; Y3 h% K! e7 ?0 R - while(1)/ ]1 y9 O, v# q5 w9 H
- {
* @! d9 C4 U- M% A) U - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);& E, X2 Z1 j+ n: J; A2 t Z5 i
- printf("fd_socket_conn = accept()\n");
% r1 Y8 I. D" S4 G3 k - 。。。8 E& C! T" j) A2 L
- recv(fd_socket_conn , recvbuf , 1000 , 0);
2 w8 ?: J5 F4 o8 T$ @ - }
" N' t( `4 o1 }4 q) l& h - 。。。0 `/ ~* t+ t; j4 i3 {/ n4 W6 q# v
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);8 s& u, z: O8 |1 I( M( Z
- pic_tmpbuffer = pic.tmpbuffer;
, ^7 ]5 {$ \ ~2 v4 ?$ F - pic.tmpbytesused = buff.bytesused;
/ b8 T! k5 T3 ~! Z& d- O; E - pic_tmpbytesused = pic.tmpbytesused;
1 _6 N6 x' [: I5 \5 r5 H. K6 N - pthread_cond_broadcast(&pct);
1 a7 F' p" F2 {6 A - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;/ d$ r1 U3 Y8 w! Y* ?: Q
- pthread_cond_t pct;
5 h, q8 d" g& h - int main(int argc, char* argv[])
" W+ k# G1 x5 h( \7 H - {
$ ~) v) I0 _8 l6 t - ...& w- u, o- P( K( H/ g, q
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
$ H$ P2 o! E8 P% Y1 X4 n4 _ - pthread_mutex_init(&pmt , NULL);! W' y' a- _* S9 V8 E6 R
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
\% p" |) h" x9 M" |# y4 | - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
G# F) I. |4 @7 Y; z - ...2 F6 [" F2 _' L
- while(1) P2 F+ f6 ]; }8 r% N3 _
- {
4 C1 x* K9 e" q$ h2 ~ D C. N - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
/ G; L" b3 {+ Z X# b; q* E - ...; j! c: b! m1 A$ A+ k. g) A% J' z
- }( H: t6 R" O6 f1 R3 P5 ~
- ...
9 R8 G8 p! x0 a- q - }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
8 r0 \' G A+ B2 H9 o - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \6 X& e% J) g, c4 ^, H% O
- "Server: MJPG-Streamer/0.2\r\n" \
f" s' Q" H; ^ - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
: ]* t! R3 |2 p" N: e - "Pragma: no-cache\r\n" \+ t7 H. F) O% Y. \4 z
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n") I% {2 o7 ]/ a% ]
- #define BOUNDARY "boundarydonotcross"
- m1 X- y' _3 [% r6 I4 B - printf("preparing header\n");' V! h0 g! G* f! J
- sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
/ N! h! C% v, P3 O - "Access-Control-Allow-Origin: *\r\n" \
8 V7 _3 s' X6 Z( X1 S2 B" U7 U7 C5 b7 z - STD_HEADER \
% `! o4 S0 W: T1 T - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \8 W: m) H7 {+ C9 z( z8 V* O
- "\r\n" \
+ ?) F% h y" v7 S, J6 q5 x, X3 M - "--" BOUNDARY "\r\n"); L/ N% H$ q( c. _
- if(write(fd, buffer, strlen(buffer)) < 0)
4 ]5 q- a& i" E - {) O+ {+ N0 p+ y& w
- free(frame);3 U0 @3 o0 ^/ V5 B
- return;
2 Q' q" u3 r: W0 H0 x( D% s - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
1 u0 z9 l& U- _2 z& b - "Content-Length: %d\r\n" \
7 d. n0 \2 h, @- \! J - "X-Timestamp: %d.%06d\r\n" \
* A, Y" J+ A: a& x6 C. R - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
6 x( L9 P# b: L7 c7 ?$ U - printf("sending intemdiate header\n");0 f/ o. d1 F3 i% _0 X
- if(write(fd, buffer, strlen(buffer)) < 0)
' O( _% J+ U, `, v& s. w1 Z& t @ - break;
9 G; R! y4 L5 Q* X& I2 i k - printf("sending frame\n");
+ y- H' f2 a$ d - if(write(fd, frame, frame_size) < 0)
6 k% Y3 `6 ^5 @# C { - break;7 y7 u2 Y2 j0 P1 H' Y `- `
- printf("sending boundary\n");& h. F' h9 a7 N6 [+ a
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
9 L2 }$ F# c( D+ M' f1 v/ \" c - if(write(fd, buffer, strlen(buffer)) < 0)/ G- S/ ~$ Z) B
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
7 W1 r' m8 B6 k2 {. {5 }2 ?) M
+ r& e* H1 `) H) u二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
0 V' ^8 {, D) `! {5 v$ W- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)3 a) ^ S4 `# f/ d7 o0 ]
- {
$ h. w% Z: n1 \: ? - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
: ]/ c5 j7 y# ^6 j( U - if(*socket_found == (~0))
& h9 e9 y6 x$ _) J" e z& v2 O& t- f - {
0 H& f/ t& f+ [- J/ I* s - printf("Create udp send socket failed!\n");3 ^" o5 o8 O( U+ L
- return -1;
" y; m& y5 U/ N% y - }
- I/ Z' H2 B. k - addr->sin_family = AF_INET;
# o( e7 p! c4 Z - addr->sin_addr.s_addr = inet_addr(ip);' u! L- V7 _- {2 r
- addr->sin_port = htons(port);1 R ]) h8 N/ P Q3 S" d
- memset(addr->sin_zero, 0, 8);8 s" b& Y5 M7 R2 R' C/ P3 t7 c
- return 0;: a. C7 D6 L# y* S
- }
复制代码
8 C+ E! S3 P, \$ L) S) B1 E) n* ]4 c4 B, F5 t0 `
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
1 k& y* h9 O( C
4 t9 q% q( g% O1 a! f6 m: F8 x. j6 }& _$ v0 x" t! f8 t$ a/ c
- while(fend > 0)
9 r" W: O) l+ ^2 r( G2 x% M8 L( D - {
; ]4 p' W+ n! h7 L - memset(picture.data , 0 , sizeof(picture.data));- Z# u- |. n, Q8 W* _# l
- fread(picture.data , UDP_FRAME_LEN , 1, fp);3 F2 b, j; ?7 j5 |+ \6 S6 ~- x
- if(fend >= UDP_FRAME_LEN)
- S" `( V5 @) X1 O$ q- u - {
( y# | k7 w4 O3 R - picture.length = UDP_FRAME_LEN;' T6 Y. a$ n% o* O+ j" h, g5 T: U3 a
- picture.fin = 0;8 h1 c h7 y% ]
- }$ `3 F# Y) ?2 [/ \4 f. r) p8 L
- else3 B. h4 L( ^+ ~7 ?. H
- {. O1 q2 m4 A7 D$ Z) d# g+ R% E! c
- picture.length = fend;
4 v( Z/ R6 V# @+ J# p' k* j. n+ d - picture.fin = 1;
, Q; ?5 m# f( C* c: |1 `' m/ A - }
3 ~$ D& k6 \6 }0 |/ _# y - //printf("sendbytes = %d \n",sendbytes);
; r2 R1 {# r; e2 Z, I1 p" v - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);4 k; `" i+ b: w! S4 B/ v
- if(sendbytes == -1): ~# \5 u5 ~) E1 ?& P$ @. K& |; v
- {
; d* K+ {3 l9 n - printf("Send Picture Failed!d\n");
1 u) `/ a- g% F7 b/ H. z - return -1;
3 _0 _7 T7 I. {% z$ v5 {9 U; \ - }
0 d: y" L, Y0 G7 F - else/ g$ N6 c8 p2 ]! W% v' K4 B4 P
- {
) [3 l0 E; K2 ` - fend -= UDP_FRAME_LEN;' _; u3 u8 n* H6 f/ t% i
- }
% h4 g$ N& ^* l+ i Y - }
复制代码
' T% M+ I0 K7 I2 a4 b- W0 r7 E
6 F% W. \& a9 U 9 [# p z+ R) m& f
5 W9 J$ [5 j% {- I' d# ~. s
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |