本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
& @; G# ^0 w& G! ]( {9 y6 I) T) p

. u; ?* E3 ~, G5 S9 i9 u+ d作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html* h1 T6 D3 ?; g; u3 `% G Q: W, k
7 y9 ^2 A8 ]; Q本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 * Q6 a8 q. a" x0 y' S( l/ z4 j
 ) R) [3 |6 E' b2 h2 p E" S
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。
% F" q9 H/ E' }6 q5 j- ~9 C; R$ Q一、HTTP网页服务器
) V) x' \% T) q0 ~, d& p先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
* O9 Y( v: M Y& B0 l) ^' M0 B! |7 M - {1 B7 ~* s* I. X4 V w/ u R
- struct sockaddr_in servaddr;
! |( J2 S4 @% q2 U7 v - socklen_t addrsize = sizeof(struct sockaddr);2 G$ F1 F" p7 @( c! M% p
- bzero(&servaddr , sizeof(servaddr));, s9 I0 f! w$ I$ X S/ j
- servaddr.sin_family = AF_INET;+ o3 N* j6 h; ^/ Y" D
- servaddr.sin_addr.s_addr = inet_addr(ip);
& T+ a! U9 S7 u# T - servaddr.sin_port = htons(port);; }7 r0 k4 f/ z& h7 ?+ P% o0 c
- int ret;. S7 Q8 ^2 O# d: a6 M1 e2 B
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)3 j% n7 Z1 X0 L& `& e0 ]
- {! M" X( o' r3 l9 T; k- [
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
1 i/ C6 b( [7 g/ g' F - return -1;
+ N, Q j4 i' m4 T3 G - }
& q" [9 o( e+ B2 q" ?5 b5 Z - int on = 1;
f# K" \, l$ i5 Z4 Q - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
/ p+ D! Z3 X; t+ _ - {* E, ^3 S& p$ Y! Y. T9 j7 n9 g0 W- Z
- printf("setsockopt error\n");
* v" t6 l% p* E$ T% X* M2 e - }$ l2 ~2 Y/ _- M3 Y- w) k9 D% H
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
% s$ B& I; |6 w6 p' W! ?9 I4 t" \ - if(ret == -1)
. _ {1 R/ A0 C - {
/ F# L& i: Y5 I+ a2 c - printf("Tcp bind faiLED!\n");' d; X) r+ R6 G% v
- return -1;- J; U H' `0 t/ P! x+ l1 G# _
- }" H6 x) R" y. W7 n7 P4 T
- if(listen(*socket_found , 5) == -1)
% |! w6 U4 z- N# a8 p8 I - {
) `+ M6 W4 P5 F3 v3 X) M; Q& w' G - printf("Listen failed!\n");( }& H: B3 E4 B5 h! O0 V6 `0 Y
- return -1;" \- t' d9 b3 n* i: V H
- }* n0 [6 i& x! ^( @5 `
- return 0;
7 _- X3 k8 U& W4 e - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
$ E9 G6 R+ f0 U$ H7 e. S) F - void * Thread_TCP_Web_Recv(void *arg)
; d' B6 p- o% {+ F7 O4 x0 L; c, E - {
) y; `1 q; y, y6 L4 _* q0 ^6 Y - 。。。
- y; L. A* r; r+ Y1 M - while(1)3 L2 x$ ?: E: p0 N/ ^6 J* I
- {
5 u, @/ Y# D) Y: _- v' S- W - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
5 U( q1 A* ?, ]# ~: ?! S - printf("fd_socket_conn = accept()\n");
# F' ]* o5 z8 z3 y6 H - 。。。" t2 }, ?2 [- Y/ h
- recv(fd_socket_conn , recvbuf , 1000 , 0);" t! N0 ]9 `) I9 _" c, X& f3 H' ]
- }, b; r/ n4 j! j+ C6 E; ?8 t
- 。。。
4 x3 }4 o# r# {" [# H. ~ @ - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);
; k& t6 \) e& \6 c4 A5 b& g - pic_tmpbuffer = pic.tmpbuffer;
2 n9 }! K& [) P! ` - pic.tmpbytesused = buff.bytesused;
7 ]9 t) A; C! n$ T% V - pic_tmpbytesused = pic.tmpbytesused;" i3 l$ G% n& n# |8 u
- pthread_cond_broadcast(&pct);
) g/ F6 {( C' S- E$ Q - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;/ L5 P& E5 ~( k7 E$ t" Z K
- pthread_cond_t pct;
5 j; @) d8 h) R - int main(int argc, char* argv[])* b! ^/ G0 i$ m9 J1 R2 H
- {* K& W ^9 v! t7 v8 l* L- m% F
- ...
+ b. u. m; n" P/ z/ m( I: j; w - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
: Q( [) o0 \% A - pthread_mutex_init(&pmt , NULL);; i5 j. o8 w: u7 Q/ m/ U
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);* x& z# X ?2 A" Q5 B! y. J
- pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
/ |/ B4 B9 y7 W; n) {4 S2 X/ p" i - ...7 {: K! u3 T% Q) ~3 N( o
- while(1)) b C; S1 v3 V T5 O5 l, ]
- {
, f% a m3 _" p - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
. }# X9 _. J, \0 ~+ S. ~: g( U2 s - ...7 [9 k8 ~; `8 s) O' F: X4 s' l
- }. D1 a7 [; ^5 A7 S; K' c7 r
- ...% O4 }% O6 F9 b* b
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
: D" h; k5 y8 l x& j. h2 I: q; H. h - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \1 J: ~ e a" l) F6 i
- "Server: MJPG-Streamer/0.2\r\n" \
) x ]# T. k. C& V+ a! C" } - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
5 K$ |% b0 i% n - "Pragma: no-cache\r\n" \
4 _8 c7 A8 b9 ] - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"9 t8 w; a$ t( i$ \. o0 e
- #define BOUNDARY "boundarydonotcross"
& ~& _/ j. g! u; e. K9 F5 E - printf("preparing header\n");
, v) V3 W3 D) N0 A% q5 e. b - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \7 h5 d4 b1 s2 ?/ y
- "Access-Control-Allow-Origin: *\r\n" \
6 U# m+ a( }$ H - STD_HEADER \
0 M1 F/ V* I* v: `, R$ F0 ? - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \- v: o/ a# G) b! L1 W% j, r
- "\r\n" \
- A3 w, v0 u. c, G) x1 A+ o6 ] - "--" BOUNDARY "\r\n");0 ?+ T: M0 x2 M# I' }; s
- if(write(fd, buffer, strlen(buffer)) < 0)
3 e3 `) d- i+ Y% `- O - {
) N2 P+ R$ H5 X/ E! j& b - free(frame);4 x/ W9 a; L. K5 x5 y
- return;! Q* c# s0 }; l/ {5 S" p8 n
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \9 L4 @/ W) b" f2 k3 ^/ v
- "Content-Length: %d\r\n" \: I& [ z2 a& m9 _6 u8 }
- "X-Timestamp: %d.%06d\r\n" \, E" ^% ~8 T h( C( _# B7 S
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
$ R! G2 G: n! i4 x8 d. I. ~9 } - printf("sending intemdiate header\n");- N" O* N4 @7 i9 [0 A1 g% b' m
- if(write(fd, buffer, strlen(buffer)) < 0)
! m+ E* v! |& C* n, x$ r9 [+ ]7 J - break;5 s# M9 V* O0 A X3 T7 i
- printf("sending frame\n");
# j( a/ R, F6 d. \) V9 U7 L$ ~ - if(write(fd, frame, frame_size) < 0)
+ N e3 M M/ w0 T+ l; I; k7 v - break;
" g4 q: H. D# q% c - printf("sending boundary\n");
6 X, [8 \1 m4 I# k* a - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");6 k. z9 k t9 Q* t- j- [* e0 F
- if(write(fd, buffer, strlen(buffer)) < 0)# {9 z' _9 W2 ~& n
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。  0 I3 E# Z. M8 S2 i
 3 f. k! a& S; ^
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:9 D/ J- G1 P) D4 G& V: r- R) \
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)2 e# h, G6 {- H/ J- }0 w
- {
8 c, ?0 x" f: P( k - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
% u# m$ ]' { b. ~) | c/ k - if(*socket_found == (~0)); f+ u9 r8 x, k0 ^* c% ~
- {
3 S! j8 Y# h" G( |* \! ? - printf("Create udp send socket failed!\n");
, j* y4 u q t9 l9 A- G. J - return -1;
4 E7 R7 g9 e% u7 d - } z1 w% I2 H/ r# W1 j2 U
- addr->sin_family = AF_INET;
6 N4 t- y3 o5 [3 ~0 T. f' g - addr->sin_addr.s_addr = inet_addr(ip);
7 k5 @2 W/ A S _& w - addr->sin_port = htons(port);& B7 K) G+ P+ U' V( N8 n
- memset(addr->sin_zero, 0, 8);( S0 ?/ u! f' p3 J x, G; Q
- return 0;
" W+ i# F8 T$ f N# j: r - }
复制代码
% h8 Y' q6 W/ K
& [9 i, t) |( s: w而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
* P% o0 E1 C# J% j4 X1 l* ^) W
9 g* y6 N; g5 g: a/ C" m4 |$ O+ W, d
# ]7 E6 r" D1 U- while(fend > 0)
3 [. [1 k( k/ O( Y, h - {. }1 H3 W% m5 o4 s& K$ k3 T
- memset(picture.data , 0 , sizeof(picture.data));
+ [% F+ L, L% ]2 |' t4 Y8 V. z - fread(picture.data , UDP_FRAME_LEN , 1, fp);# y/ K a. s7 I+ i
- if(fend >= UDP_FRAME_LEN), T7 m$ `' f2 s& H7 x
- {# r/ j; x9 p& K: N/ P- h" e
- picture.length = UDP_FRAME_LEN;' g- ~2 N6 E# D, I2 D
- picture.fin = 0;$ `: t5 u2 E. C
- }2 ~; X. h; n# C4 p# C, c0 L7 e
- else& _5 x# P) v r) o. K, Q
- {
# {2 a1 k" A4 p" v - picture.length = fend;
2 t" D9 ^; P7 b; ?4 [ - picture.fin = 1;: C$ g: [' d1 e7 v0 H
- }, H# o& L" s, [
- //printf("sendbytes = %d \n",sendbytes);) @. t5 F$ O1 v7 @0 K: T
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
$ Z' [. W- ?' a) Q - if(sendbytes == -1)( f) z) ~$ G/ f" U* T0 X+ E0 l
- {
0 V; W+ `& e' D. z. d3 ~5 U: O - printf("Send Picture Failed!d\n");
2 i- N, p7 U; E: [! [; t - return -1; P4 w; z2 @0 U7 u# n- ?+ e* P
- }" h! `! M; }) H. }
- else) R4 e, d3 I9 j& @
- {
( Y- S# F; t e: ?1 P) [ - fend -= UDP_FRAME_LEN;
3 o( @" f& Y1 P' @6 I! s - }
) E" k! i' N9 [ - }
复制代码
k# e! e: @( Q
6 k/ b; i4 R. w 4 F8 p f7 ^1 E$ _7 {5 f
" n( n# [5 f$ n8 @2 |+ FiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |