本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 * u9 y9 H: f* X' L7 t: q6 F2 g4 |( a
6 G+ P: ?. z. D2 D% _

6 l' T6 B! J1 b3 e; v: X; T4 Q* K作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html9 }! u) ^5 c( r; A; {
% [9 A3 X. @: ^
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 3 j0 H" d' h+ V8 Q8 g
 ) h; U3 F7 D3 b
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。
2 G: W3 N( |( r+ a8 O' L. g) x一、HTTP网页服务器
, |/ Q2 Q8 J7 N* @先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
5 T1 j4 y7 s9 l. ~3 e. s' ]) ` - {2 o7 D3 F/ @6 U" e+ @
- struct sockaddr_in servaddr;
6 U/ h0 G H" J, r( a - socklen_t addrsize = sizeof(struct sockaddr);5 {* d# q# G1 s) t# C# T
- bzero(&servaddr , sizeof(servaddr));0 G2 ~$ V7 _8 j/ O' Z; u% o
- servaddr.sin_family = AF_INET;
% Q* h: |, B* W; N - servaddr.sin_addr.s_addr = inet_addr(ip);
+ A6 D4 }0 D! w+ ^4 Q0 |3 i - servaddr.sin_port = htons(port);
5 C. Q$ n! f1 J6 M3 }( @0 s6 m - int ret;1 m: K$ j: w% R9 v
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
; c# }" n% G, W9 }' a' | - {, q! L% f' L4 k
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
( Z) j7 |9 Y7 s - return -1;
9 f1 p' h$ G6 q1 M4 a - }
/ S. N% v+ n) s - int on = 1;" L, r! {5 p* u
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
# o- d* _/ p J( ?1 ?0 J e' C" h - {" B. U- d$ |; K; T7 ~- ] a. |+ R
- printf("setsockopt error\n");
* ~2 q2 Q% R% s6 D7 ]' o - }
4 `5 ~- V* ^6 ]" X5 I0 s1 O# y% E- g* m - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
" U$ V# \, @; y- R) F+ Z2 u - if(ret == -1)
, y4 t+ r3 j7 ?+ \4 @. ] - {
* e3 w( U8 U: ]: e+ i, ? - printf("Tcp bind faiLED!\n");
9 _! F5 C+ h' p/ t - return -1;& K. Q( f/ I/ }5 E
- }6 {0 j! ~; o4 ]+ ?; z' N
- if(listen(*socket_found , 5) == -1)
! w# t0 }5 {+ v3 K& c# y# n) x - {
$ Q) ~1 ^8 [5 e - printf("Listen failed!\n");2 V2 D" X0 q& p" l5 Z
- return -1;% k; E( w9 w# Q
- }+ `/ @# C/ Y! D0 @
- return 0;
# ^' i5 T+ r3 ] {5 y - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);, O8 v% {7 D3 T0 n
- void * Thread_TCP_Web_Recv(void *arg)
: q5 h3 }: @9 d3 j3 T$ \ - {
+ N1 ?. `' N1 y# A3 z - 。。。, U, w1 u% U+ N Q
- while(1)
1 D- L1 X5 a: t/ H - {# h& x/ Q: ^* S. ~0 |
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);+ @5 Y u. B5 J
- printf("fd_socket_conn = accept()\n");
% d1 P& w( l8 X+ x; a2 A0 u- R - 。。。
" ?" R4 `! R$ n0 m$ k* x - recv(fd_socket_conn , recvbuf , 1000 , 0);/ R! Z. \$ n0 b" l5 D) [
- }
_) }6 w% T. P; R! {+ }9 G - 。。。2 Q+ A; o( i) \
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);
# \- [. U& w) d - pic_tmpbuffer = pic.tmpbuffer;6 R, @+ ` `5 @9 ?1 D4 P' a+ L
- pic.tmpbytesused = buff.bytesused;
6 K7 R! \2 P4 b9 y; H! S6 y% L" A - pic_tmpbytesused = pic.tmpbytesused;& X+ r( {/ w2 c. b8 t) L
- pthread_cond_broadcast(&pct);
. R d ^ y# P$ P, q& A - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;, C! a5 [3 e3 C; x" B6 z
- pthread_cond_t pct;& G6 A# R( y+ [; m& w
- int main(int argc, char* argv[])8 V6 K: ], @! h0 u
- {, N# Q( y) U5 D0 f x' \3 Q& q; C
- ...1 R$ Z+ Y" R7 H9 Z G- e( o
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
) ]2 r& \) T: r) r - pthread_mutex_init(&pmt , NULL);0 R- C& ?& k2 |# {
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
- ?: g+ s; j+ \( U- i+ o# a - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
1 B* n$ `6 x- g - ...1 r4 D: K( j- l
- while(1)
/ Y* }2 s6 e# P5 B - {
! V# Z. u6 t# F! J% g - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);, T2 l/ z9 O' i7 E
- ...
; Y6 `0 G, D! x! X# L - }- ~& I( c% g! w
- ... M% W% d% o$ |5 o, a* u+ e- y) K R
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">0 _0 b$ u& R$ s+ d T; j! ] u
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
* e" ?+ l8 r5 ], } - "Server: MJPG-Streamer/0.2\r\n" \
$ t4 Y6 z i: F: i - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \" e- { _ x. J7 a8 j7 o" T6 U
- "Pragma: no-cache\r\n" \
8 {! d# ]- g1 k6 G" R3 z( Y& y+ }7 u* b - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"+ R* Z+ [, n, C9 l* @, q- ]4 i1 J
- #define BOUNDARY "boundarydonotcross"
5 f& f. z# h, o - printf("preparing header\n");
1 P( P! w- B1 Z. \ - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
- b& M- G( E1 {+ _; v: b - "Access-Control-Allow-Origin: *\r\n" \
' T2 ^; ]2 B/ O' K - STD_HEADER \
" I4 T5 y5 j7 [* _+ @ - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \/ _- G. |$ a8 u( M) P, D
- "\r\n" \
: ]$ |1 t9 A1 [/ [) g F - "--" BOUNDARY "\r\n");. i9 {: K( b2 G0 J
- if(write(fd, buffer, strlen(buffer)) < 0)
$ B! h. _+ C1 y. @ u7 ]1 d3 e! g - {
7 J. Z5 B& F [; D) e" y - free(frame);
5 P% t5 i0 K4 I# A - return;
3 W& A/ [/ ^+ r - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \& c6 N$ B8 P: e/ D* T1 n8 m
- "Content-Length: %d\r\n" \
! f7 E: R5 W0 y" y2 Y' \ - "X-Timestamp: %d.%06d\r\n" \. c" K3 v$ O6 W ^+ t, b' |
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);8 o! i3 R2 |6 s
- printf("sending intemdiate header\n");
4 k. f9 Q0 D0 @8 P: z3 n7 S" B - if(write(fd, buffer, strlen(buffer)) < 0)3 k: F3 A; w- k& l ?2 V6 S
- break;- x! F* U0 r7 |# b1 G' }2 k4 q
- printf("sending frame\n");
& s2 @) H- m" C% S0 T; X+ C" e - if(write(fd, frame, frame_size) < 0)
" A) E {, R* |. \8 f$ D( F* t; G - break;/ [2 T$ ]# K/ }. Z7 r$ }( C* }+ C
- printf("sending boundary\n");
- P6 {! Y5 Y8 ?2 V1 w - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");1 C; b* G/ ~* z
- if(write(fd, buffer, strlen(buffer)) < 0)
9 D$ x! U# ]3 R - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
' f& V1 ^ l8 F: b9 ~5 ^( _
5 K9 v6 u, B5 M6 p二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:4 L6 {/ i1 J; n; v" p9 E5 L1 J
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
& B7 s- ]8 ?# _; Z7 t5 D9 [ - {2 P/ W" A! Y# t6 n* Q* j
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
1 k$ C; \: @ P. W! {6 j% f/ M - if(*socket_found == (~0)); I2 ^) X8 d# p% b6 t+ ]" ^
- {$ e# b/ `" a6 ]+ n5 r; N/ n
- printf("Create udp send socket failed!\n");' S5 J. a# `5 M( g" i
- return -1;9 I8 j$ a a: }1 V/ d
- }! L# e- Q" q4 i# T* I) p
- addr->sin_family = AF_INET;- W3 N: h4 L+ O3 O! m0 E) Q
- addr->sin_addr.s_addr = inet_addr(ip);
3 a' p5 K0 _* Y1 t4 I% k - addr->sin_port = htons(port);9 ^+ ]1 I4 t! k
- memset(addr->sin_zero, 0, 8);
5 v6 R% T5 }+ z4 g - return 0;
+ U8 v2 e' l8 m( w1 z - }
复制代码
1 N# @' \+ c# R. Z( `8 D; ?* Y; }% d9 q. x( G
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:5 r8 n3 s" w: J D
1 s9 ]0 A1 h; w5 ~
- U( c9 r' G. Y% j7 @- i
- while(fend > 0)6 F2 Z, E1 Y) \2 \9 [& a. {
- {
+ q- y. t$ k A - memset(picture.data , 0 , sizeof(picture.data));
+ B! \+ U, w2 r; B# f - fread(picture.data , UDP_FRAME_LEN , 1, fp);" i3 [, k& c9 K1 ?+ _, A
- if(fend >= UDP_FRAME_LEN)
; u+ I H7 W6 y - {
5 d% p) P- ?0 T# l7 x- \+ [" g& p - picture.length = UDP_FRAME_LEN;
; i5 v* f/ U j* l* ~/ q: d - picture.fin = 0;
~6 Z) t6 f' ^0 ~$ l' ? - }
4 h# W+ ~# G8 ~* U! A2 }3 Q$ t: x: Z/ |* C - else7 [* h# n- s, w, W- u( t$ W
- {
; q5 u2 L/ J6 e% h - picture.length = fend;
# Z) I) |& i, S9 s9 S% W0 N4 p - picture.fin = 1;6 e, ^7 \$ u) ?* c9 x @9 J! X
- }
% [/ ^6 w' K! A1 l$ t - //printf("sendbytes = %d \n",sendbytes);
9 f: g* f) L1 `; z4 I - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
9 }' W7 J2 m2 }7 L. T+ K# J - if(sendbytes == -1), V1 z# u) @& U% y; [$ H6 S, }) f' [
- {
* ]( G; v3 f7 D7 T - printf("Send Picture Failed!d\n");8 D# A. T9 [3 p1 G. {: r
- return -1;
! [( n4 Z, y0 Z( l. W - }
2 A: i- | v* S5 Z9 k - else6 u- |+ |! ]5 \$ T2 q' K8 ~
- {- l2 D+ `9 B, s1 k- J
- fend -= UDP_FRAME_LEN;
) R9 M' V5 M* _ }2 G - }0 ]3 i- @$ I/ w' [* `
- }
复制代码
" m$ G/ r0 G4 }
# W8 P+ W. I7 k5 W2 k. R' \ 8 |# C" k3 \6 ^6 i
; f) }; _3 h9 b! B/ y/ r& F
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |