本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 * b1 V$ G9 ]3 n) K) S
. D2 x& {7 T" o* P6 a6 m% {
1 w8 s+ {( }: n# I8 i# P1 L) y, P作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html* r5 o, Q+ j4 O) B; K- \+ P
( `3 [0 f. B5 S5 H* k& {8 z本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 & p5 T/ ~/ ?- A3 X% `# _

g* K. N9 e* v5 v# J' {两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 " [/ n: f# ~3 W4 Y
一、HTTP网页服务器
/ r1 T# a* F0 ^: F" I/ O, V% t先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)) s$ |9 N# j; p! u: n
- {2 w6 _8 Y# S" t/ @/ v
- struct sockaddr_in servaddr;
9 R4 F# o3 P) k- M/ t/ W - socklen_t addrsize = sizeof(struct sockaddr);3 P* T" [2 o/ T4 Q
- bzero(&servaddr , sizeof(servaddr));
% e2 K; l/ T) c; V# k3 R2 a$ C - servaddr.sin_family = AF_INET;
$ W1 J5 X$ I* c4 n* i1 D% ? - servaddr.sin_addr.s_addr = inet_addr(ip);
% t% c$ M* a5 `- Q3 Q - servaddr.sin_port = htons(port);
+ v1 _6 } t+ ]3 o8 l' H9 n - int ret;7 E" _6 [# z O5 P. f% F2 k8 z5 q
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
! h3 a x6 V# v; ? - {, R* R4 }! \0 i
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
9 G4 {0 R9 n5 W8 J - return -1;
) }' \7 V5 x0 D9 l0 ]" K - }
+ e6 N1 x9 [: [' \! I! [ - int on = 1;+ R! z8 D. U7 q, o; U+ O! S$ U
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0) @+ I" b6 W1 K; W; l p
- {. x7 S' U2 G( F9 n4 Y# x
- printf("setsockopt error\n");
8 _) M8 b! }4 W' R - }4 ~3 `* q, g/ \. N, q+ ?# h- K
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);" d6 S O. i+ z
- if(ret == -1)
# a# t& r- r1 K" A$ Y' S4 Z+ h4 s - {
* Y( h* X( u# }) ~; Y* d; Y) @ - printf("Tcp bind faiLED!\n");- o9 Q0 ~7 K0 p5 V$ @
- return -1;
, p0 p' t: [; p: |: H' L - }
# S, ]% Z9 j- w - if(listen(*socket_found , 5) == -1)
& J; u0 i- C$ I - {
5 ]( s6 O4 o8 E2 B4 ], c. j Q - printf("Listen failed!\n");
( J1 u: t8 l5 R6 X$ W5 x- v - return -1;
4 ~& f3 U4 S% E5 d+ z - }
1 M, \- F0 a" K m: m$ c5 D - return 0;
" M7 Z7 W4 e+ u. w5 P - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
/ z8 Z8 A5 x9 V" J8 j6 l# v0 a3 e - void * Thread_TCP_Web_Recv(void *arg)9 P8 Q) U" j# L2 I
- {% G+ Z* D$ r) J$ {
- 。。。
1 m- i& t+ k6 i+ ? - while(1); t( V# Y& I$ m4 |
- {) L& Q6 [ z5 q8 t6 e$ o
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);1 g7 W2 L6 D% R; S
- printf("fd_socket_conn = accept()\n");
# ~7 g' {) }, u5 G/ q0 M$ | - 。。。% A4 S% K9 x+ q: d* V/ o
- recv(fd_socket_conn , recvbuf , 1000 , 0);
" {# F2 Z; d0 H* k7 V/ y - }( D( C2 X' S/ ^2 r
- 。。。. E$ }. O, @: [! P
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);
/ A- l+ h* y2 \ k/ ] - pic_tmpbuffer = pic.tmpbuffer;
2 \0 Z) O+ S% |4 q' j1 j& b* t - pic.tmpbytesused = buff.bytesused;7 D2 g3 J8 H4 }; N/ [9 W4 I8 c* X
- pic_tmpbytesused = pic.tmpbytesused;8 l' @+ P4 J7 I& I
- pthread_cond_broadcast(&pct);
4 X. k( o/ ` H* n) E' b - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;. d* \) }8 a0 K- U& w
- pthread_cond_t pct;. T: R/ F8 [& k( G! d
- int main(int argc, char* argv[])
0 s- P+ ] E4 ?( b( h; V" F1 ] - {& S b: n! p4 r0 [
- ...1 h1 @/ ~& U1 F. H# I' S
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);2 g/ ]( u- }: K" \3 s; l
- pthread_mutex_init(&pmt , NULL);5 n$ F" T1 s% R* t* A& ?3 K9 {
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
4 \! ? P; }9 s7 q" Z' f5 B - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
, q" j: {' i! x8 a+ }( s' e - ...; s$ k: j; p9 ] j9 I3 m' H/ k
- while(1)& \# I% M8 \: ~) l( V
- {
: v" s, ]8 s8 y - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);3 r$ }, M% e8 a; p' }
- ..., A6 d. W `: Y0 x" K
- }
; H0 B% ?. d/ [, d - ...4 [- n4 y: y, g
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">; k$ Y" e# `5 k
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
2 b; \- j- |9 m5 v. T - "Server: MJPG-Streamer/0.2\r\n" \2 E4 i; Y. q; u7 i4 ? H% D5 L5 V
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
7 V3 g% P* R0 F3 M, J - "Pragma: no-cache\r\n" \* a0 S8 u3 f8 y7 K/ T
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"8 p7 y0 f6 q! K5 }+ L+ k) T/ U$ ~
- #define BOUNDARY "boundarydonotcross"6 i- M) `- V) O2 K+ {6 D# R( U4 R
- printf("preparing header\n");
& t% a+ |& o! [) l/ m - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
9 |8 Z6 ?2 R( U6 K8 a, I u6 L - "Access-Control-Allow-Origin: *\r\n" \+ Q/ ^0 M U) e' e
- STD_HEADER \: Q8 Q+ |4 F* t& s! h
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
; V6 p5 l; z+ ?/ A: N - "\r\n" \
* v) Y. p5 t& @2 n0 J5 r# i/ E - "--" BOUNDARY "\r\n");
& K6 Z4 F0 H7 T2 G7 [0 E5 x7 F - if(write(fd, buffer, strlen(buffer)) < 0): k+ P% _6 P% \% d
- {
D" V' U9 P/ ]2 k6 h - free(frame);
. ? N0 B* o; I, U - return;9 [ M8 k, K$ ?7 b# I4 {+ u* H
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \3 M: V& A# j0 M- S# C
- "Content-Length: %d\r\n" \+ z3 [/ Z+ t5 L! x1 L
- "X-Timestamp: %d.%06d\r\n" \
3 f6 i# j7 S P: h$ l. o( n - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
4 |6 \3 R9 T) D - printf("sending intemdiate header\n");/ W1 B6 g' I5 n: \. O7 N
- if(write(fd, buffer, strlen(buffer)) < 0)
) h$ r3 K/ X# m) a" S. m - break;: g6 c0 h5 V1 e
- printf("sending frame\n");+ {3 L0 f. V/ V- F$ a
- if(write(fd, frame, frame_size) < 0)8 M2 {; U& N7 S
- break;
3 i( r& F: V) Y& M N" b - printf("sending boundary\n");' h. b. h) C/ c% h6 a
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");2 Y+ x, L2 M1 Q; \* P
- if(write(fd, buffer, strlen(buffer)) < 0)
5 I5 s$ P3 Y' @ o - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。  : J# |" z! d3 ~! Y
 8 L1 v; ^, ?) S+ r: `. Q# z
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:' r) E" @1 U% i' U3 V( i
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)+ y1 M+ q8 _! ^) k
- {: u3 n2 T7 f5 i. R& r8 s5 v
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);+ k, R; U" R) H6 E* `8 n0 X
- if(*socket_found == (~0))
% g% W! V: C" r' o: z& l4 O - {: S b9 I; |, Q6 K. @
- printf("Create udp send socket failed!\n");
9 Z6 q* g& S4 { - return -1;
) _9 U" z" m7 A! k! k6 ` - }/ d4 J; `1 u* i( t8 ]
- addr->sin_family = AF_INET;3 |6 I9 c# E- @
- addr->sin_addr.s_addr = inet_addr(ip);
, O; [% U; P6 |' E% p) t7 P [$ j% ] - addr->sin_port = htons(port); ]* w8 E/ u1 d: |
- memset(addr->sin_zero, 0, 8);8 D& W2 a& H: [. t* N" K/ D" @
- return 0;& ~# K$ p% |' F
- }
复制代码
' W6 g1 _) f! ^7 N0 F. ~2 ]4 C. Q/ @
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
! B4 W! j9 V. q3 w$ a! w A3 ~# q+ a t5 B
+ H' z1 j9 L9 H! t; \! J; F
- while(fend > 0); G" q* @" P f e3 | q6 a* s
- {
t! k1 O o6 |; d; O7 i - memset(picture.data , 0 , sizeof(picture.data));# R- x7 |2 Q# P$ W) ` Y2 w" m0 S
- fread(picture.data , UDP_FRAME_LEN , 1, fp);
" j n5 P( c# Q0 y - if(fend >= UDP_FRAME_LEN)
9 t* {9 T7 q; i- s* C, ~1 N - {: S m! L$ v0 b
- picture.length = UDP_FRAME_LEN;0 o/ O. a. W9 M% M
- picture.fin = 0;
' s2 A6 q e0 h6 C6 } - }2 v9 I }0 b: k: ]
- else. a5 n3 g- z, i$ R2 I: C
- {: v8 c/ q& @6 V, b; M6 P
- picture.length = fend;
! U# n. Y7 z2 o% T! S8 G+ R - picture.fin = 1;
6 ^3 n \% X8 T6 Y2 A. x5 Y" Z* _ - }
/ S2 S# t5 S- F# V, m - //printf("sendbytes = %d \n",sendbytes);
( x, Q# V q7 {7 q2 F! `- e - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
- _2 W( H1 ?* W. Z - if(sendbytes == -1)
4 ^# X* Z+ M5 Q9 f% k3 C1 U - {
0 V9 ?. ]7 r' [6 h* k* q: a - printf("Send Picture Failed!d\n");% O5 w/ Q/ p9 s. ^% a3 g0 j0 L/ j
- return -1;
9 y8 n% E2 Q' a) a! r& j9 a- ~0 o& v, E - }
5 q, N! `. H. o$ M6 `( T% B. C. M - else
! S+ W8 j+ v* I; a - {9 v7 R4 p) X$ R* o5 p: v @
- fend -= UDP_FRAME_LEN;! d; [3 M) f# Q; ?/ {' C+ y
- }
# k/ @" N- e/ _, v( v0 L - }
复制代码 R2 x" u4 q: d2 W" `* v- \
9 O/ C: B$ c( j& b* h( b 0 h& l5 C1 N6 s$ K; K
, }; _# e& B% t/ o! V
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |