本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
/ {- H+ G4 P* f* }2 C" u2 x- ^( ~0 o( m/ t- x: \+ s
 4 x0 ^5 k; q8 Y/ N. r6 n: s
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html' D3 s: z1 B+ p
% Q( s! }6 M: E8 b; T
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。
# N5 i' p5 u4 y- \* H
& N& N+ j r$ W两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 7 B& K7 Z( B2 h: W+ c
一、HTTP网页服务器
: m$ L2 T9 ^+ v6 b先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
+ k# m' \" i( f3 n. @2 A - {% V& I- v" b( f5 g
- struct sockaddr_in servaddr;
6 ^ M0 m+ j: H - socklen_t addrsize = sizeof(struct sockaddr);
6 e1 r$ G5 S/ |8 x8 t - bzero(&servaddr , sizeof(servaddr));
- p5 t; H% V, t1 d0 ^" G- g - servaddr.sin_family = AF_INET;# s+ D( s, Y4 G! X3 v* K
- servaddr.sin_addr.s_addr = inet_addr(ip);
0 A; z; c w& _# ~$ s0 {5 I - servaddr.sin_port = htons(port);
: w& _) k3 o+ o/ K. X n - int ret;
! d, Y0 }6 N6 w( C3 W - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
$ m y8 D- Y$ y( g' k1 K1 b( B - {
$ n% N" s6 L, H9 G* z - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
" E7 ]; d( G, E# T) u - return -1;
A6 ` H$ L& ^1 [/ B - }8 r0 B, |& B3 h& s" j8 J# r
- int on = 1;
* s3 T# Z+ P9 p1 S% q) E - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
3 l9 Q) _) O+ w( t - {6 y- b, h: A' X8 Z
- printf("setsockopt error\n");) j* V1 e2 ]( Y" L
- }0 `* h5 q7 o( F c5 E( T) b
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);0 i: J8 {3 x b0 [4 T; a1 L
- if(ret == -1)3 [8 ]$ y6 v& d5 L3 N: k# Z
- {* r# |/ d0 D7 v1 E
- printf("Tcp bind faiLED!\n");. {& |0 l4 Z% }$ N* u( u2 L+ Q
- return -1;
3 H9 m# h# O* p2 a, t0 l3 A8 g% A - }% _9 Y/ l1 G% R( b5 [2 m
- if(listen(*socket_found , 5) == -1)
5 w {: Q4 J" i& N/ X! | - {* r$ `7 V& K \! \- w: r# O0 Z0 D+ T
- printf("Listen failed!\n");
1 ~) F6 t' r* c$ l, V1 b - return -1;, b( _; r6 P8 r2 q+ i
- }
9 P. A3 I5 O+ R6 b; R- k% N - return 0;4 t3 Z7 a9 v* A8 b* y& g* A2 Q
- }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
5 ^: g9 t$ D& M0 e - void * Thread_TCP_Web_Recv(void *arg)
/ R9 W5 b( X- q+ f; \ - {
6 K+ B; z" _) m% I: v' U2 q0 C - 。。。
5 j8 y$ H' h( i+ C. B - while(1)" m' E" }/ O+ W' M& ?; d- W* H
- {
7 I% \" r0 o$ |- T9 R - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);8 [5 j: d: k, _
- printf("fd_socket_conn = accept()\n");
& V$ t% T: p# J$ @3 G8 t4 R - 。。。6 |8 [$ [6 V' y& ]9 U
- recv(fd_socket_conn , recvbuf , 1000 , 0);
7 F$ b5 Z% @" ~& k. w' Z3 z* J. x. a/ [ - }3 c2 e6 B( s; Y7 `
- 。。。3 I5 ~2 r( s9 u; z" b C
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);+ c9 |/ v8 Z( X" j
- pic_tmpbuffer = pic.tmpbuffer;
' r4 s& @2 c5 S4 I" \ - pic.tmpbytesused = buff.bytesused;7 K' y6 g8 R# l5 L6 s9 a
- pic_tmpbytesused = pic.tmpbytesused;
$ y1 j/ [: p6 {1 @& [ - pthread_cond_broadcast(&pct);
8 H6 b( v$ b% C - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
5 P4 K1 x) e `; ]1 ^0 o - pthread_cond_t pct;
# U& E6 Z' n* G0 }9 \5 z - int main(int argc, char* argv[])
4 X! p. m1 M4 d( ]) }, y0 S - {
7 g+ F0 L/ b" L$ N" G6 k - ...8 Q- ]7 t" T- D7 i2 l1 y2 |
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
1 X7 z/ `# ~* B$ s" ?& U! A - pthread_mutex_init(&pmt , NULL);
3 T* ^2 T0 X3 K* t2 f - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
& C7 L! _: i* @5 S. t$ b - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL); s8 C8 r! q9 z$ x
- ... S+ Q1 o$ C+ D9 E
- while(1)
$ p2 M$ w2 R) s8 M+ q2 ` - {1 n3 g- d' s( Q1 a
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);2 J; [/ g1 Z! f, z$ N% ^0 M/ h) W9 ~
- ...: F* R' m/ v$ `9 N4 v3 U8 T) ^& X
- }9 I2 }, ?, z0 q
- ...' \ ] u8 X% Z) Y, ?! _
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">. h( A ] C' \: B. `2 D
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
+ [5 [/ l5 E- _4 [: T+ v1 C. _. P - "Server: MJPG-Streamer/0.2\r\n" \0 M! E; Q1 m" \! V i
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \% T; C g3 { w
- "Pragma: no-cache\r\n" \
# u) b$ S) K4 F$ m& x6 b. B5 B - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"8 ?6 M% o0 N& b l1 {( K
- #define BOUNDARY "boundarydonotcross"
8 i6 T+ ~# q3 v6 @ - printf("preparing header\n"); y) j; Q6 ?5 @$ I# G$ G
- sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
2 ]& `6 ~- ?& p& l/ m - "Access-Control-Allow-Origin: *\r\n" \% I. v) H, p! D: N1 G" ]3 E! n) U
- STD_HEADER \
' x+ Q4 J* A6 n6 L* w- [; w* N - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
, ^, I/ N% X3 S2 F# n+ l - "\r\n" \
5 G4 K* t7 D2 k. i& U - "--" BOUNDARY "\r\n");
7 z" h* t+ j) [4 X9 } - if(write(fd, buffer, strlen(buffer)) < 0)9 e1 b+ H% \1 q& i& j
- {
) m9 `4 d5 E0 c3 h/ L0 m0 J - free(frame);9 o2 [' D9 q5 }, T, F$ f6 q; u* ^
- return;2 @( `1 P0 Z% T$ p# S% D. `
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \4 _6 Y; v- u& E
- "Content-Length: %d\r\n" \
5 \+ g2 g" Z; N' k7 _2 |5 M - "X-Timestamp: %d.%06d\r\n" \8 z9 v" Z8 E- d, }& ~/ E
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
; [( @' N( Y% ^5 j8 Y2 R: B/ J& M - printf("sending intemdiate header\n");, V6 z) u- L+ L' Y
- if(write(fd, buffer, strlen(buffer)) < 0)+ O1 [) l% G$ s8 k( _
- break;
9 | y2 d! D5 [' E1 u - printf("sending frame\n");
s6 k* _' }. D* j. y g, N - if(write(fd, frame, frame_size) < 0)
+ d! _4 L3 N! U6 X1 C9 m/ R( z - break;2 [& e2 {7 n3 P! O1 K$ v
- printf("sending boundary\n");
5 b' m8 I9 _+ J4 D4 b' s" D/ u - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
- `& B. z$ z+ z6 s+ W4 ~ - if(write(fd, buffer, strlen(buffer)) < 0)# m/ L4 D9 A1 m- O4 ~' p
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
( W$ W% ~+ l4 a- t
4 V' {1 A: f/ F5 u. W, I1 k二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
1 f; i) {& }# x+ U. m. M, N- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)! G, ~" Q# }, g" e7 `
- { j2 Y- s$ {5 o* o! ~6 e5 J
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);9 i# H$ X5 A" f4 \
- if(*socket_found == (~0))
- W0 ^0 [4 _( A" z0 D% X. c0 K - {% o# I" Q9 ^' |2 J) {
- printf("Create udp send socket failed!\n");
/ `& S9 U* B3 j% x: T% ]. j7 } - return -1;
4 u/ {! ~) i3 g7 _4 K/ b - }: z% z Z0 _7 A3 T0 R
- addr->sin_family = AF_INET;# }0 b$ u5 J0 L3 M( p' \
- addr->sin_addr.s_addr = inet_addr(ip);
: M$ V+ z3 [3 V8 u4 r - addr->sin_port = htons(port);6 V) K, S: {' W0 Q& L( W% R+ |
- memset(addr->sin_zero, 0, 8);
' T8 l; p7 ?7 E( y! b* Y. U! Y - return 0;
1 H$ }4 E: }% T; E* V) b8 t: V - }
复制代码
2 Q9 u/ F) `% o4 ?1 v0 p: ]/ l( Q0 b7 i/ m* ?$ K& J
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:$ X$ y' p+ [4 ^* E
8 T& {* x* Y/ h- ?
! V7 d% |. a( [4 a9 k) M2 _- while(fend > 0)6 g. ~" `! H4 s9 w
- {
! K/ K6 ^$ _& C - memset(picture.data , 0 , sizeof(picture.data));
# T: B9 I1 y- [( c7 Q. G1 K4 ~ - fread(picture.data , UDP_FRAME_LEN , 1, fp);9 P8 T/ t- m8 j9 s6 `1 X
- if(fend >= UDP_FRAME_LEN)0 s8 J @: h& C
- {
6 X2 T- ] k% y K - picture.length = UDP_FRAME_LEN;
' x% \+ k% }" U. K: G: I - picture.fin = 0;- y! ?* A4 g* E8 e
- }( O$ L Z. ^. h7 B. M' I% w
- else, [4 G6 z! x Z, Z& l1 }
- {" T# D. P, m- v: h6 L- P2 A
- picture.length = fend;/ B- t ^% E: L% {
- picture.fin = 1;. W5 ~/ d$ l) w) E
- }
, h3 H! g" Y' z8 t - //printf("sendbytes = %d \n",sendbytes);, P" {5 Q O* A% M1 i7 E* [
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
0 p& h; w7 X0 X& O- s% g( T' | - if(sendbytes == -1)
: Q& H$ u& ?# ?0 W& A3 Q4 }' q - {! `2 o7 r, M. p& h# m5 a
- printf("Send Picture Failed!d\n");7 S' b0 |5 X1 u
- return -1;
0 g( e0 q/ w1 k - }% v7 H& {) Y% K- w* u
- else! o) d$ _3 Y2 }1 @) A: h
- {
Q: h" m+ S7 }$ m6 ~ T; b - fend -= UDP_FRAME_LEN;: E3 `2 Z9 y- d0 Z
- }
+ G: E/ H% j s' a - }
复制代码 0 e1 y8 A; E9 A' X, [3 C
' s. s* o( t3 C+ P0 i; P- U
 ( C1 V# |: N2 j0 o+ a
- W5 B l1 h8 ^
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |