本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 & i, C% H( g. e$ Y5 W
, d# @2 c; @9 I# u9 b; h- x+ N/ r
 ' Z/ h& K" ~3 a2 H3 z: P* M# z
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html
: h: x9 v" p* V1 F4 K- K
% ]2 K8 M0 f* `3 _ j6 |/ X$ w/ T本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 ) ^$ h! E- i1 a

: S2 f! |( B/ X5 C v; M. k$ J* r6 Z两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 ' `8 F' z4 |2 |! Q. C/ W) d. G
一、HTTP网页服务器3 p4 U4 h3 H6 m- v6 q
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)/ F) u9 W5 J2 R; c. W4 P
- {& n4 h0 {* `5 s$ w8 W
- struct sockaddr_in servaddr;* ? ~9 G( _ O/ O
- socklen_t addrsize = sizeof(struct sockaddr);
# b k8 r0 l) m5 }- E ] - bzero(&servaddr , sizeof(servaddr));4 U- m4 Z' g7 f5 \
- servaddr.sin_family = AF_INET;
$ e' w! h! Z2 c5 _, {( k1 u - servaddr.sin_addr.s_addr = inet_addr(ip);
: i# e+ \ ]8 ~+ e" S% F0 t! k% s - servaddr.sin_port = htons(port);
+ L1 R: r" Q" l* V - int ret;
3 f H' L( T5 B( X - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)& R: @1 J. Q% m) g5 }2 |. g! q& r
- {
& V( `" V5 I! i. }- n7 }9 s1 v/ f - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);: B" r$ w$ c' @% ?% b
- return -1;
% A6 R( j! d: n - }
" b8 J. C. ]2 `8 k X( g - int on = 1;2 W9 R. q, R! T+ J. G3 }
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
1 P9 N2 V: }4 Q5 W: `6 v4 a5 v - {" i8 i! A5 @3 S' ]# q m% A! L
- printf("setsockopt error\n");
# @9 ]! `$ ]# K: v+ ~9 Z - }# J( Z7 ]- B3 t" M0 a+ H
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
% a* ]3 v$ w# z7 C r - if(ret == -1)
3 K5 ]) F2 u+ v* e# g - {1 s3 s! Q& Y) s" Z# i
- printf("Tcp bind faiLED!\n");
' @# }8 t8 T8 v. {2 N: Z: I - return -1;# o4 K0 s$ V' Q+ |2 ?
- }. |3 G/ P! H" p
- if(listen(*socket_found , 5) == -1)$ J; J! M# u2 _: {$ v
- {
1 |1 c! m5 z% H, }7 y, k - printf("Listen failed!\n");
+ ~0 T1 o$ @ M% G8 x/ p. x - return -1;; ?: V" t. C; a9 K4 ^
- }
7 j/ K2 h! I) W6 a1 B ]# z - return 0;
7 Y% S) ]& I6 @$ J7 u) l7 { - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);+ ]8 l7 [" w$ ^
- void * Thread_TCP_Web_Recv(void *arg)1 c" l( ]+ g$ r) o( U9 h7 I
- {
& u" ~6 f% x3 A: x! [ - 。。。
! O% ]: f( E! [- N- Y - while(1)4 { k. d/ k( C: t7 k0 `7 H& a
- {1 F- p9 S/ q7 K# g
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);3 \4 ]$ Q+ w4 j* T6 I* U+ B
- printf("fd_socket_conn = accept()\n");; f* i1 [' a0 g
- 。。。
S Y; C! b E4 } - recv(fd_socket_conn , recvbuf , 1000 , 0);
" I8 a2 o0 A$ l4 } - }) t) }/ u% p0 m6 ^. b
- 。。。
" h! k" ~! t/ g& x: F+ ~ - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);# S/ S) m& G0 c- }' s% T
- pic_tmpbuffer = pic.tmpbuffer;
" v5 V8 t3 Q/ ^ K, a - pic.tmpbytesused = buff.bytesused;; m" E. k) E$ X2 @* _8 b' y
- pic_tmpbytesused = pic.tmpbytesused;
% L$ k" @* T+ b, H) T- v. ` - pthread_cond_broadcast(&pct);8 x* d# X/ R7 V/ V- [
- pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;/ K! g: R. P) P3 z3 s6 G) N
- pthread_cond_t pct;3 W V. m6 G) }) F1 i/ T# B
- int main(int argc, char* argv[])- S% ]$ D$ H9 o! I2 e. S
- {6 R" k0 F7 b5 s1 H' s* ^
- ...+ A/ u3 I' B3 I
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);" }: B3 b+ q2 Y( f# t4 A2 M7 v
- pthread_mutex_init(&pmt , NULL);
4 d0 o8 ~# I ?$ M* x* D5 x$ K) u - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);* @$ n3 P; y6 W% S5 H% }; w
- pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);3 O1 J* }# \; D0 P; \# I8 a( L3 Y
- ...9 a' g7 l- T% Y+ l( \: u
- while(1)
9 d* h8 A; N$ ~! @ ~ - {5 v. ~, L2 T+ |% M& `* E8 O
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
2 B, d1 L; k1 m( A4 P1 M) \& e - ...8 ^& C0 V# b% H8 s# e! w6 D! Y
- }
" `0 s% o$ A' M1 l( _& j$ _ - ...
2 z0 V7 w( j+ p, M - }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">+ I8 }- ] {) o$ e! v
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \$ ~9 t& o" [! \9 w9 f; @
- "Server: MJPG-Streamer/0.2\r\n" \5 Z- G9 m/ D1 t2 U1 U: a
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \- v/ {9 h; ]+ x
- "Pragma: no-cache\r\n" \0 ]" g/ S+ p0 ^1 x) _5 Z0 P' y% o2 V
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
) R: J1 a; ? \3 q0 G7 j& u - #define BOUNDARY "boundarydonotcross"6 v! w% _5 ^# r' r5 z6 s; q
- printf("preparing header\n");
u: ]0 `: x. b: a7 J - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \$ J$ {4 E& \. y8 m. |; U
- "Access-Control-Allow-Origin: *\r\n" \8 ^0 M2 q, N8 b( J
- STD_HEADER \7 x7 _2 |% @! P) N! y/ L2 C
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
; u* h ^# `: ?9 V. W6 \( w - "\r\n" \1 R/ l g3 x, @! I& M$ j
- "--" BOUNDARY "\r\n");
; ~$ Q! ]$ x* m1 D% Z - if(write(fd, buffer, strlen(buffer)) < 0); U8 c+ ^( B- F9 G
- {7 J( v" u; Z9 R% Y: G' ]
- free(frame);+ A' j5 N- y6 E+ }2 e
- return;3 Q$ u9 P- G, e; j+ L8 R5 q" f. c- {
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
5 E2 v( F3 }% ~2 q$ B - "Content-Length: %d\r\n" \
* t- |# X. p# { @8 o - "X-Timestamp: %d.%06d\r\n" \ F' m6 s0 M( X& _* Z' s
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);; Q* _0 h+ o1 n9 [# h7 W$ c
- printf("sending intemdiate header\n");
5 G Y# H8 \3 p9 `/ z) s2 {( I) ] - if(write(fd, buffer, strlen(buffer)) < 0)
: n, Y" L9 C3 F& @3 t3 |% F - break;
& J2 h3 g' @8 Y4 p - printf("sending frame\n");
& I( t) y6 _; v3 }0 k) D - if(write(fd, frame, frame_size) < 0)" D! _4 p$ Y! y* a: }- Y$ r" C
- break;/ v8 U: T4 J; [2 }! r) u% d
- printf("sending boundary\n");6 B% |" S5 v$ Y2 N
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
/ Q q- ^7 S* N1 \3 ^" \ - if(write(fd, buffer, strlen(buffer)) < 0)$ g3 ^; z, w! a9 q/ m
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。  3 I! _" c n* G! ]3 y- I/ E

X( Q! U$ v, h8 m二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
5 m" T& i/ k; ?% `/ Z$ W. r$ w0 T6 [- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)) l- u/ ?3 F, z8 Q
- {
5 d- O3 i" R" P# a+ N: }* A - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
$ ]% X- x8 `* Q. A - if(*socket_found == (~0))& V* P* h" C3 M0 ?& Q$ _
- {
6 C3 b6 D/ u' W5 I; o% y - printf("Create udp send socket failed!\n");7 ^( `) _/ X. V5 c! o
- return -1;$ S( c; T* L& d8 M# [9 j
- }
, J# E# P/ I" A- F" G- z$ t - addr->sin_family = AF_INET;2 |, n0 R9 c1 N/ v) ^; Q7 f; U
- addr->sin_addr.s_addr = inet_addr(ip);
8 \2 k K# M- q( m0 D( g - addr->sin_port = htons(port);4 o0 W3 |2 }# i6 Q9 M, ]5 w
- memset(addr->sin_zero, 0, 8);
9 C8 u2 J2 ] ]3 b* l9 ^) [$ y - return 0;; |3 @; C0 I* p6 i- P, j$ c9 c7 _
- }
复制代码 ' C' B) w( \+ p9 T* I
6 ]1 F* T; }+ M/ f' o) m而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:- q. s; p' S, Y7 L1 H( p
( @6 W4 L+ n6 _: o5 h0 Q
2 D' {) E1 {( l" J" t6 v8 k9 o4 i- while(fend > 0)3 b: L& ~ P+ s, v4 v* R
- {+ I1 Y6 G1 U4 n$ P( {7 M: m
- memset(picture.data , 0 , sizeof(picture.data));8 t( Z2 Y$ L) i& } O# r* m0 h+ u
- fread(picture.data , UDP_FRAME_LEN , 1, fp);
0 d4 g0 Z8 f) P" i7 [2 ^ - if(fend >= UDP_FRAME_LEN) M! ~" a& D4 J/ x/ g8 r
- {
* R8 n) a! }7 t# D - picture.length = UDP_FRAME_LEN;
8 F3 ^: I4 w$ g8 L3 f( N, j$ ^ - picture.fin = 0;8 @: E, I) j3 A7 J
- } c5 Q( c1 B9 O# d+ p8 ]
- else7 o1 L( P5 O" T* n1 r
- {
! @+ \& P4 t2 z6 g c - picture.length = fend;
7 x5 P2 f- I5 y2 \6 | - picture.fin = 1;
) ]& J6 l5 N2 Q - }
) I. ?7 U4 w5 d7 R' F& I- \ - //printf("sendbytes = %d \n",sendbytes);) R7 d/ c8 C: p3 N. g
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);# F0 O; D, [1 u9 ]- u
- if(sendbytes == -1)
( j8 Q6 p: T) C3 ^, Z, J - {
: [, |3 s( j7 o$ v6 | - printf("Send Picture Failed!d\n");2 k6 f: C' y/ o0 ]. W
- return -1;( q2 z4 \9 i3 h% }+ t
- }
$ ]9 X" U2 s$ ^! T+ B: {3 U - else
$ ]5 Z) ~* N1 B, D - {
2 L6 h/ n( u# x4 B; n - fend -= UDP_FRAME_LEN;
0 h& Q+ l3 `# X% k+ h$ k9 G3 w# s - }
5 h0 y; B. A- `/ J* f0 L0 X' H) c - }
复制代码 3 e9 Y3 x* Q% M* F4 W; Y: m# n w
0 R( I- i B; a4 @* b" A 4 W+ n |6 I( ?
( w g" e( @% M$ r. G4 p* M
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |