本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
0 ]; A( N. r+ B% v6 ^
; `' n+ m! f% O& y & C. `- R: M# W: @3 E: ^& c8 ^
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html
' P8 B8 Q5 _6 K1 X y! t: r1 f( J0 s9 @) L
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。
, p6 W5 ?1 I A7 V; g/ i8 i) ]; ~ : f" l9 `9 g/ F' V& H
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 : F3 _ ]+ n: P. ^
一、HTTP网页服务器
# V+ A9 _- d \& M0 N/ |; B先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)0 m$ ^& c5 ]4 p6 ~0 Y: P- }; \
- {
1 y6 W0 v8 B( C2 Y3 t - struct sockaddr_in servaddr;- y% ^2 w$ M; ]: B8 q/ g
- socklen_t addrsize = sizeof(struct sockaddr);5 V$ n% R4 J5 l
- bzero(&servaddr , sizeof(servaddr));; q/ |* ?! Z& q, _ D' z
- servaddr.sin_family = AF_INET;+ ~0 {; A" ?6 a5 ] q' c) f
- servaddr.sin_addr.s_addr = inet_addr(ip);3 c6 w; F: g5 l
- servaddr.sin_port = htons(port);
: x& D4 a$ Z- C6 t% o - int ret;
% D2 y$ D- e5 C# `6 c0 r" E! p - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
, K( x) m9 s# a- ]0 E7 \1 S: | - {
+ B/ ^4 v: b+ ]1 Y% r7 P9 W6 } - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);) o* P. \( f+ W8 J: N+ C
- return -1;
, Y2 ?7 g% f; |" B- y& T, N - }: {- N# j; Z) }1 p$ J9 S0 C# w
- int on = 1;
' i; m' l$ C1 y/ f$ j - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
' X( Q* p% Z/ @; u - {& l B) z* r. T) S& o4 G; \# J
- printf("setsockopt error\n");
# V6 \5 E, @% c9 _+ N - }
( Z- w; S6 m6 }6 R& `' F+ l- n - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
4 t$ \! c* [. ?. O e5 ]* d - if(ret == -1)
) U; p- T* K W4 u/ r4 K - {/ u y3 w/ T! N3 x
- printf("Tcp bind faiLED!\n");
; O V' J9 |! ]8 C9 n0 b - return -1;
: C! c! X& v, F, F/ @; D3 _5 y - }
* Z0 I" e# _5 | - if(listen(*socket_found , 5) == -1)# \% }. e4 u/ q" O& I& ?
- {
' q2 Y: @1 k3 j - printf("Listen failed!\n");
# D k' W# D. A/ } - return -1;
% J" W, v& }# [* X: a - }
5 c1 m* k4 N0 P) z - return 0;; J0 a$ W7 @: ~# v! t7 K! Y# P
- }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
+ j. W. G4 \8 a% K - void * Thread_TCP_Web_Recv(void *arg)
4 l @9 k# G! {: ` c% O6 H - {
/ U4 F! q8 x4 l: V' k - 。。。
" i! J! D# I5 m" X' M - while(1)
0 J" X. {' @: s# z! b - {
' p) |3 @' B7 Q9 o# E$ ~3 }1 ` - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);1 \' c$ N( a r/ T* x
- printf("fd_socket_conn = accept()\n");
. v7 q1 Y' P6 n7 e* ^ @& { - 。。。) |8 Q( c) A0 G# b# u' O
- recv(fd_socket_conn , recvbuf , 1000 , 0);# e& S& B3 @" |& O; z! B$ y$ F
- } X- p; u/ x2 b$ G; I2 {
- 。。。
9 [$ c* z4 b& n& Q) J8 j) F& Y - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);! T; R: N$ @- V. Q4 S
- pic_tmpbuffer = pic.tmpbuffer;0 |7 d# ~' {( m. t! z1 W
- pic.tmpbytesused = buff.bytesused;: g7 P' f: ~! j4 X) S
- pic_tmpbytesused = pic.tmpbytesused;
3 |" E+ ]+ e5 Y* G" r - pthread_cond_broadcast(&pct);
7 f, M% T! ~# ? y* l8 { - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;3 m/ P$ f+ H/ D! r
- pthread_cond_t pct;
, S* K( b1 `* E. I" l - int main(int argc, char* argv[])8 e( g! x. g; C( d: V$ F8 `
- {, ~8 M- s! V6 K( m$ \4 h3 `# @7 u
- ...
7 g- \) j( Y" U# W; ~4 s - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
$ J* s( M, T2 F; o - pthread_mutex_init(&pmt , NULL);& g) C* }. R% m
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
/ g7 k- L/ k6 F - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);' w# d7 i- A8 }9 X
- ...+ u" e4 [+ Z1 ?; y4 G U3 m4 @6 W# n9 r
- while(1). Z7 C9 Z% A2 L9 K8 o
- {5 P6 u; j& \5 i+ W4 P
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);8 x1 g4 h2 O+ @& w9 y
- ..., W4 S& ^4 e5 M, [
- }+ t N/ r6 j8 c
- ...0 ^# [/ k: w" ]6 X5 i
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">* X5 J% T& \" b# @
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \ Z- i5 D4 a8 Z; V
- "Server: MJPG-Streamer/0.2\r\n" \8 f% t. k T8 A
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \- J/ A! O# a- N! W0 f6 ^5 q; {
- "Pragma: no-cache\r\n" \
6 j7 k8 d9 a9 L; H0 m3 H - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
. R% p& }, n# ]3 a6 G - #define BOUNDARY "boundarydonotcross"0 D6 R3 A0 F) ^# ^& m2 U0 h3 J: z
- printf("preparing header\n");" {8 g' S, p1 c- g& G
- sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
2 M( K6 |; ]. w3 x) d8 J! | - "Access-Control-Allow-Origin: *\r\n" \ @1 a: p) Y8 c( g2 {, O3 n3 h: V
- STD_HEADER \ |" c8 x; K/ L8 Z$ }2 V8 k
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
1 ?8 a N* ?; ?8 | - "\r\n" \
* P1 j# o7 t7 S0 } - "--" BOUNDARY "\r\n");9 r; Q1 @; `1 X+ f# ?. G2 z
- if(write(fd, buffer, strlen(buffer)) < 0) r6 H' A* b' G" Z
- {
8 `5 C2 R) v3 h' Z# S - free(frame);' Y& G- u: B+ w) D/ Z
- return;# ]5 [: u ^3 o
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \ F: t6 v; _- `0 Z; M
- "Content-Length: %d\r\n" \) B t8 ]" d5 O8 C/ ~, V
- "X-Timestamp: %d.%06d\r\n" \
1 [& M2 N7 l( U% N4 y - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);# S8 I0 W& v* M$ g6 K* ^6 d
- printf("sending intemdiate header\n");4 @ B) S3 T" U$ D4 `
- if(write(fd, buffer, strlen(buffer)) < 0)6 I1 J4 n$ _/ V" @9 Q
- break;
: C# ]% {' }3 H- M2 Z3 s - printf("sending frame\n");9 b$ o/ T( ?. L2 J+ r$ i [3 X# A! k
- if(write(fd, frame, frame_size) < 0)9 o! T2 \% Z7 p# q
- break;% n& {% S" Z0 B9 D% K- r+ H) K/ I8 U
- printf("sending boundary\n");
G$ C. ]1 S, z: y/ E& N - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");2 ]9 ^9 P B2 o9 J, S3 q
- if(write(fd, buffer, strlen(buffer)) < 0)
9 Q" ~% [% D3 T3 @0 H - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
# g* S4 {3 Q8 W% q 6 `1 c6 G' @8 a: m' f- J
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
1 P* \1 ?% P0 C' g. J: \7 \- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
) k1 u y+ h! f* @9 }. F/ z4 f+ A! B - {7 a0 f& r r( o- R9 K+ _" Z
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
' ~# O. i# U6 K6 n) M& K9 j1 @$ v - if(*socket_found == (~0))
% P4 n5 G) N. Y; S1 o - {; A& W/ F5 c4 ^; ]
- printf("Create udp send socket failed!\n");
6 b1 }' d' w: k# Z1 Q/ i - return -1;9 L+ j' Q5 b# @6 e, i' u- Y
- }% k" N- [! R: q# S* ~0 j
- addr->sin_family = AF_INET;- e ?0 Y* t: G0 `7 E# I4 A) ^
- addr->sin_addr.s_addr = inet_addr(ip);
$ T/ P" J- E+ W& k! o - addr->sin_port = htons(port);
3 e0 H5 o7 j7 U) y, a1 ? - memset(addr->sin_zero, 0, 8);
, u/ b, T' z' H - return 0;. t; G6 ~! ~' {- {8 B h5 x- |3 j
- }
复制代码 & M5 X! l. j! V( @1 ~
P! g% }; ]6 t- P
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:% O1 `7 ?, s3 ?. b# ?; t B$ n
7 N, i! u |7 ~2 x3 K1 I' w
, V. J( }2 ^0 K& M' o3 Y/ Q: [- e
- while(fend > 0)& p1 y: k. }0 d, o5 v7 U- m' a0 _
- {& p8 K6 c; y9 j& L9 C5 E4 q- \
- memset(picture.data , 0 , sizeof(picture.data));
( S" Q, ], F, X' T* _$ f2 I - fread(picture.data , UDP_FRAME_LEN , 1, fp);5 d% Z* J! ^( l0 P* _+ }0 F6 F; f- b7 B
- if(fend >= UDP_FRAME_LEN)) B6 q. d8 s! X" K, j
- {3 X1 v% C) `0 z% V |0 C( j7 h6 T/ ?# U
- picture.length = UDP_FRAME_LEN;. u" Y |. K+ U. H# {
- picture.fin = 0;
& ~1 g( Z4 a! I! { - }: O0 D5 X; c! z$ ^/ ?
- else
0 |1 F% ^) f9 @! A* e& W! Y+ x - {
( j- x7 g/ Y# P2 J2 I - picture.length = fend;
* O) S3 \5 U/ w9 g( `3 o: V5 P - picture.fin = 1;
, U Q1 h; S" k- U' F5 R8 I - }
# q" X0 J- H0 x* t4 D( _3 W - //printf("sendbytes = %d \n",sendbytes);
4 n: l; ^% ?. A1 R2 R; {% b - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);8 ?" J! G6 p0 `- B' o: a8 E
- if(sendbytes == -1)+ r9 X! @, T j1 z# u5 v; B
- {* g5 T" P- {$ i( X! y
- printf("Send Picture Failed!d\n");) @1 @3 @; Z5 {$ N$ k
- return -1;
3 P' W* f% h1 C# M; v! } - }
6 l& `$ X' K, O8 @ a - else- G: m R! O1 E" ]7 n, [% k
- {
. g0 e& ?. ?8 X% z. z - fend -= UDP_FRAME_LEN;; K/ O5 q( J3 C$ D9 b
- }
2 ~8 s" g; j4 G7 k4 T - }
复制代码 1 h, X7 _% s0 b4 k9 K! E) F1 F
. V; U0 u; E+ S
 " Q) n0 @8 P: ~; B$ |
- B/ Q; N' {2 W4 Q. J
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |