本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
9 S) q7 y9 D8 p0 C3 @
- g% D: G0 [$ W4 ~% l4 R
" U. A# i; T: N. V作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html, L: Q$ i8 |9 D( f
) }9 Q8 R- h2 L0 g' M
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 " C1 l' r6 v# y- A5 ^9 L. T
 6 _* j8 K1 Q' L2 B3 ]
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 ; L* _3 t$ O( _: s) O
一、HTTP网页服务器) E- q3 g9 ?9 L$ w7 q7 k0 O6 ~0 U
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
0 X0 v' i. g" u7 G1 O) M2 I8 t - {3 X1 ]1 [% m4 i+ ~9 S, K6 C
- struct sockaddr_in servaddr;& q# D i" K* O' f# C
- socklen_t addrsize = sizeof(struct sockaddr);
" b! \+ s+ x2 S1 _) v8 U8 T - bzero(&servaddr , sizeof(servaddr));
+ ]4 K0 W* G% n3 Q. T, T4 d - servaddr.sin_family = AF_INET;& z- j U3 k; ~! @. @
- servaddr.sin_addr.s_addr = inet_addr(ip);: m z# ]4 N/ d' O, ?
- servaddr.sin_port = htons(port);
) H% @9 r0 x2 o# a2 G - int ret;
5 U4 b+ _& z' v( N1 C# n) u - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
& @1 W3 \' ~2 T4 V! x: G1 q - {
6 W3 o5 ^) k+ P( Z- @1 l - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
. y0 L0 M, H3 } I7 k5 O4 g. p - return -1;
% M. i- r \/ G8 ]! z; m - }9 g( H# d4 X' p
- int on = 1;) J" K: y& ?; ]
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0), n% e9 f6 Z5 u) Q
- {
' Y* [9 O' q& ?6 g0 Q5 W6 Y. u/ D - printf("setsockopt error\n");3 W8 ^; \5 a' {! ~. ]$ U4 K, }
- }% Y8 z8 B5 O& e$ D+ W
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
" K+ [& o# Y. g - if(ret == -1)
% X3 z; R/ ?& z- G$ e u - {
1 L8 y/ G6 h8 h& |' e$ c0 v - printf("Tcp bind faiLED!\n");
0 R3 v, G7 B) ~2 K" w4 Z( e7 @ - return -1;. X8 I4 i5 K/ z$ i7 e/ i( f9 P
- }
+ u: h- C( w5 h" [& k3 d+ ? - if(listen(*socket_found , 5) == -1)- w3 J) |/ o0 w( ?+ p
- {! D! W" [' @8 L0 x: a$ F
- printf("Listen failed!\n");
0 n/ l Y0 d1 x# k0 L4 S, P" B - return -1;% d0 a3 ]# c: a% ]8 s$ L
- }
7 C6 Y" H0 E5 V - return 0;
) A) F1 Y. a, B) R2 Q7 w, | - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL); T8 n9 q3 w" @- H
- void * Thread_TCP_Web_Recv(void *arg)
- o( a5 n7 y: ^% O4 F2 b - {! V! r( b4 A3 m4 ?0 W
- 。。。
; t% [( Y' B; X) X - while(1)
j4 ^' b h5 p7 Q* c7 \8 d2 W* x - { `( r( D i/ \9 u* p$ } u2 F J
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
% J0 \+ H3 D! n; c. v5 c - printf("fd_socket_conn = accept()\n");
& y3 i, O& S$ R0 x6 U/ t7 C - 。。。7 G' U, Q5 i0 E2 u6 {. \
- recv(fd_socket_conn , recvbuf , 1000 , 0);9 b' X+ d' _' z2 z
- }
3 o$ q: L8 E" g; L9 T/ e. V& R5 e - 。。。) h+ n# C2 T. Y0 ]0 V, o
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);) h9 P$ ~8 R# M
- pic_tmpbuffer = pic.tmpbuffer;7 _4 w% w! u' K$ {5 \
- pic.tmpbytesused = buff.bytesused;
, k0 ~4 T5 b, @( W+ t: Y4 V - pic_tmpbytesused = pic.tmpbytesused;! v8 w: s9 E7 x* f2 c7 F" h
- pthread_cond_broadcast(&pct);5 q, d3 M# r. H: k- P2 F
- pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
: E$ r& Y- R7 h( ~1 j* O# P j+ y - pthread_cond_t pct;
0 c6 c9 G: F L" U - int main(int argc, char* argv[])1 {& D1 S' f& Y4 `& I0 Z7 n
- {
$ X8 L U" J2 [4 m - ...' H4 I4 F6 g4 A5 Z, ~
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
& J1 K3 S' ~, s7 K2 K9 `# F - pthread_mutex_init(&pmt , NULL);0 j& }: u8 m' f5 v
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);6 r. D9 S. M$ {. L
- pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
+ E2 F0 T6 b: u9 i8 x4 s - ...$ {% t' g& M) c' X) R
- while(1)# W0 R; ?) _+ `* h# \2 \. X/ x
- {
1 o9 g/ L5 Z* l - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);' F1 N8 E$ F1 {7 r
- ...0 `7 R# a# i$ h$ L3 I
- }
, E. O; g3 y+ [ ` - ...' ~' E* o3 Y/ j/ y, u
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">) p4 x' B& s5 i2 F, ?+ F7 D1 r
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
2 g/ h4 P# D$ h4 C, \9 \) a$ g - "Server: MJPG-Streamer/0.2\r\n" \; r1 X" x3 G2 `) P9 b" A% d. P
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
' y4 J- e. w- m8 ?1 \ - "Pragma: no-cache\r\n" \
3 Y0 W8 A* V! `2 ?+ u! b - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
& P! [, }% O- o; c" A% ? - #define BOUNDARY "boundarydonotcross"
: |* V( m: P/ k; J% q - printf("preparing header\n");
7 f; I1 L h: x% W; R( F# m$ J - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
. c3 d5 q2 f& S; ?* {( X - "Access-Control-Allow-Origin: *\r\n" \
( Z e7 o. v! G S7 B z - STD_HEADER \# F E, L6 Q5 K' |1 ?( S
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \: F) `' D1 } \6 B! r) A% d
- "\r\n" \
8 L- g4 s v7 Y, \5 c" `. R9 m - "--" BOUNDARY "\r\n");
. v% [6 o" r$ ` - if(write(fd, buffer, strlen(buffer)) < 0)
0 f: @. m9 }+ ~( V$ F. {$ {+ P - {
. g5 @0 A% |& F- C- Q - free(frame);
5 E: A/ I. \* z$ c' Z0 y7 {& D - return;8 O9 ?' M5 i! M% O
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
* f/ s& G3 {3 {6 R$ M/ j5 |7 k - "Content-Length: %d\r\n" \% X' k3 v5 k+ P" l1 @4 I4 B" ~
- "X-Timestamp: %d.%06d\r\n" \
% M( ?% u6 M' b# ~% Y. V. b - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec); O2 } H3 u4 D% v" m
- printf("sending intemdiate header\n");
( H/ G4 ^; p/ D* t' S - if(write(fd, buffer, strlen(buffer)) < 0)% q1 c) x$ O/ t& x6 y
- break;
8 F! G. Z3 Y7 b# _$ h7 g - printf("sending frame\n");
! l n! c/ r; }3 y, ]. @! G - if(write(fd, frame, frame_size) < 0)& U: s3 p( f: q
- break;
) P& x" L0 Y, T9 @2 _ - printf("sending boundary\n");- o& J$ T- ` G
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
0 H: b+ @/ L5 F, t, \# P7 d - if(write(fd, buffer, strlen(buffer)) < 0)
2 @" S8 h' I% e - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。  ( L+ C2 q5 q1 X* |: y3 y3 c1 d

: M- G9 J) W0 z) S4 _" H2 A二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:* s- ?5 O, Z0 I2 Z1 S s
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
; R: n, X1 q7 F% S3 L$ f - {
% j3 p. j" g: `( C- C. ~ - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);! Z' J8 z, V6 p5 ]9 [, L0 g
- if(*socket_found == (~0))9 F8 J( v( d( }% w' Y9 K+ y
- {
. n# v7 j2 A4 @' T8 ]8 L" | - printf("Create udp send socket failed!\n");% B* c% Y) z1 O6 S
- return -1;( u3 H8 O7 H" C3 z: O
- }+ n+ [5 l4 f" ?. g2 C" E$ B/ G
- addr->sin_family = AF_INET;
. k6 R- s2 U5 r4 m - addr->sin_addr.s_addr = inet_addr(ip);% `/ ^" S3 A6 H- A! @
- addr->sin_port = htons(port);
8 G. y9 W! i8 z! q$ J - memset(addr->sin_zero, 0, 8);
, V- H% P9 `% Y( w - return 0;0 |7 W; b; Z0 k; p; H
- }
复制代码 $ V* y [% y7 k3 `
( y( S& R* F' o3 P( _* Q5 N
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:! g1 b- `6 N* Z& c I
6 o; N! h4 a7 [: e9 A4 e
, L7 T/ X2 s' c. f3 H- while(fend > 0); z' {7 v/ x5 m6 @" v7 u
- {4 z0 Z+ W$ N5 z4 t4 M' H: k
- memset(picture.data , 0 , sizeof(picture.data));
1 p2 k, T3 x! y - fread(picture.data , UDP_FRAME_LEN , 1, fp);
`2 R; K; ~4 p+ A - if(fend >= UDP_FRAME_LEN). o( i5 N# C2 J
- {6 r* Z, u. [0 b2 P9 U$ k1 E
- picture.length = UDP_FRAME_LEN;) U$ r! {0 }0 I. B8 w8 \
- picture.fin = 0;' o* S4 W6 |; t7 n2 `
- }2 o! [; h2 L/ n; j1 W- D2 w. j
- else
- H% [: V: S0 ]" J6 C0 o$ u - {
, O3 X0 N5 U* v0 n$ @ - picture.length = fend;
2 |$ H* J7 u- W' S6 U* u7 J' R - picture.fin = 1;
" C/ O5 c/ E1 V# P3 m - }
0 t. y, q1 G a( n$ U/ T. @0 Q' i - //printf("sendbytes = %d \n",sendbytes);. ~- l0 w4 q, X* h
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
* [. z9 T) o n! d" e/ s; b$ u - if(sendbytes == -1)
, h" M! @9 Q* d. U. k/ [$ N - {
9 W& p8 F9 t \ - printf("Send Picture Failed!d\n");% g/ K8 i% I( m; k' A! b
- return -1;
" v& F* o" o, k; P4 \ - }( g% R- o% D" k& v
- else
4 }7 f7 g1 S- m# p) ~ U2 z - {
; X4 z k8 R Q9 y* Q' J - fend -= UDP_FRAME_LEN;. r+ q$ _( D' w
- }
9 [0 n) S. e% U: w: r" h" k - }
复制代码
) W3 |. s r# A) f; _- c8 A+ x7 H0 o" X( g" B0 h$ C
 : I/ H6 P/ V R
, C8 E: d B3 | x1 w0 ?& r( siMX8MPlus 核心板: https://www.forlinx.com/product/136.html |