本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 1 J( s" |3 V+ ^, a/ s
- E H" J5 E* K 9 P! J) q* q: J( C
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html
4 G# L/ s0 V2 K2 o1 A H' t K: g
3 h+ p' ?- t$ {( U! |8 ? L本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 " L: Y# W! b5 H" h9 W4 j( _. h' L
 6 Z1 N8 q) f, X
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 / R6 s4 p) e* u, V8 a6 L
一、HTTP网页服务器* Y- N% ?8 p" {7 Z5 F1 [
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
! s; C7 F4 Q8 X* a: w - {
8 f3 W; y$ H! b$ b - struct sockaddr_in servaddr;
" R+ V+ a' ]+ L' F0 ?4 ] - socklen_t addrsize = sizeof(struct sockaddr); \* ]7 {3 o6 X/ I8 a7 a
- bzero(&servaddr , sizeof(servaddr));% B( k- W) g+ }; v2 {$ S
- servaddr.sin_family = AF_INET;5 f# o( b c: x+ ]
- servaddr.sin_addr.s_addr = inet_addr(ip);9 z. b% b4 c8 J
- servaddr.sin_port = htons(port); M' {+ q( b; E% c3 u
- int ret;
; w3 o) a8 f- a2 X/ f7 @ - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)! E G, [' e' V1 d8 b+ ^ P$ E
- {( M: \ Y7 D( M
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
- Q9 i; M5 |. O! B2 z: K - return -1;
% v+ @7 Z2 `5 i6 q0 N - }! k$ Q. W" i0 l. c" b O n
- int on = 1;
& T h# W; z5 R1 Y; S* Y3 [ - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
8 H$ {- ]( ]% C$ |8 B2 l$ u# L% l - {
4 @/ b F3 Z# k' K" S' g - printf("setsockopt error\n");
! l" L0 a0 a/ e# K# ^ - }% j$ G4 }, W% C6 k6 M( X
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
5 E3 `8 D' Q _3 c X - if(ret == -1)
. L; W7 }9 S) n9 x - {: @3 k Q0 @5 ^" q! \- q0 Q: D
- printf("Tcp bind faiLED!\n");7 A o$ f y9 H. Z# q
- return -1;
% B) A' Z' a: z- S0 J - }" X4 u6 ^5 x6 J- b
- if(listen(*socket_found , 5) == -1)
: H# }0 E6 t2 r# f9 d+ h - {1 K9 I1 U9 }7 m5 |; g
- printf("Listen failed!\n");8 `+ Q1 p b3 [" ^, S
- return -1;
+ i K3 P+ r* Q3 V- n3 j6 U I9 K - }
2 u7 ^7 r6 Y4 E2 a# F/ q4 V - return 0;
. h8 `8 j" g5 R; n/ c! M7 O- V2 J; X - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);! \4 Y( R% g" ]: b3 M
- void * Thread_TCP_Web_Recv(void *arg)
1 S [6 e3 N4 S( H( D - {
4 e$ _- q4 X. v4 x" q- w2 S$ w& n: E - 。。。
3 @3 M; a% c( l - while(1)* Y" z6 z% R; [! R
- {
3 J i$ o* u* s$ U( g - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
5 R- T7 R9 @. {" J+ I - printf("fd_socket_conn = accept()\n");
3 `0 K0 N8 O9 w$ p# ? - 。。。
8 V9 @. u: o! m& O8 @7 |/ d1 S# Z; x - recv(fd_socket_conn , recvbuf , 1000 , 0);1 _' l. J7 t4 r* c
- }& ]; V* s. N3 R) s" ^1 D3 p0 z) V. f
- 。。。0 G; c7 R3 \6 j+ p$ L: U
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);
! T3 ?, }3 x& T, D/ T6 s& I - pic_tmpbuffer = pic.tmpbuffer;; I* p$ {% w8 H# s* c* e
- pic.tmpbytesused = buff.bytesused;
) l, o, u# V2 m - pic_tmpbytesused = pic.tmpbytesused;# ]& O+ d! w0 V2 B1 _
- pthread_cond_broadcast(&pct);0 i" X5 v0 o! N
- pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
" P7 S4 P& ]* g3 e9 C+ T - pthread_cond_t pct;9 m. j. n5 o( u( e2 D, z/ |
- int main(int argc, char* argv[]): W( y9 D/ v1 Z( e2 L# R, u
- {2 ~ Q7 o& L* n8 [7 j6 v" L
- ...
, o$ G$ M2 E& H$ C - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);/ a. v# F7 }7 o, S3 U7 D! J
- pthread_mutex_init(&pmt , NULL);/ }- q: V2 z$ {( _
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
* z: n( p1 X2 S# _, e# i ?! q/ S - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
, l4 ?; @, ^ S5 @) g3 }. ~: K& F - ...
. {* w9 \6 l( u+ x& G6 w - while(1)
0 L- i; M+ H V2 \- b - {8 l( C0 o! o5 |- `: c9 m- ~
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
. ]+ }# C9 m9 m7 Q# n; u6 T - ...5 n( Z$ e8 Z K' G! C6 b
- }
! X# y' L0 w! t% Y - ...1 n1 h* ]8 { e. G' ?
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
# T& K+ r( u4 Y$ u - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
) ?# S/ M3 j" o* m/ r1 S4 U5 f" B - "Server: MJPG-Streamer/0.2\r\n" \$ V# I6 q- C; {6 X% f
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
- f# H; ]* l! t# P5 x - "Pragma: no-cache\r\n" \
( m8 c/ z+ l0 S" C& p! n/ ]( \7 S& M - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
5 M( b9 H3 E7 }4 t! @: G( I0 [0 Z - #define BOUNDARY "boundarydonotcross" Q/ j8 X: [4 [- V9 N
- printf("preparing header\n");
+ n% ?- f- }; s$ T( E - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
c( E7 b* O/ d- K# |) i: F - "Access-Control-Allow-Origin: *\r\n" \4 |! ^4 \9 c3 l/ B! B
- STD_HEADER \
0 s* }3 a' p8 y5 n" y - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \8 f4 H7 ]* Z, c! Q
- "\r\n" \, T4 }2 [2 t; E6 M% e) U% D1 ?6 t
- "--" BOUNDARY "\r\n");; \( t5 ?2 L: \; W' ?. @
- if(write(fd, buffer, strlen(buffer)) < 0)
6 Y4 [/ I& N" m; V - {1 [' n6 p0 q& [
- free(frame);/ N0 V6 ~5 O/ @& w: e
- return;
( v5 C/ W1 o9 K, B( M4 p - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
' b0 L/ a* `/ e! O* E; ] - "Content-Length: %d\r\n" \7 }1 [3 V( ?8 D, n' G: H
- "X-Timestamp: %d.%06d\r\n" \3 G' j+ l* i2 h
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);. B, q' K2 C, N* p
- printf("sending intemdiate header\n");
$ s9 b# q- a4 q, b - if(write(fd, buffer, strlen(buffer)) < 0)2 w9 h" l- ~+ t: w$ u
- break;; h0 ^! x. t5 x3 L9 I: m8 a1 r* E
- printf("sending frame\n");0 \" D# u/ }; z s2 v) b
- if(write(fd, frame, frame_size) < 0)6 ]1 h9 \$ T, B. `* n5 ^$ F0 H
- break;* i. T) B5 i8 }% t# h* `$ P2 A
- printf("sending boundary\n");
7 w }* b/ A$ c7 I, m/ K6 c' A - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");, L5 `3 w7 f3 \' Z4 T/ d3 H( b
- if(write(fd, buffer, strlen(buffer)) < 0)
) u |9 y, \* Z C# | - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
* Z/ E5 G- @" c5 k2 y % {# M4 h! H( A. O, D
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
7 b x/ w S; m8 X' N- v6 [1 _% P- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
) X8 ^% _8 X* ` o - {
+ r6 P/ p( }3 i - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
$ Y C0 \+ N1 K' g4 \% h/ Q! a - if(*socket_found == (~0))0 [1 P5 o( M: f' G
- {
" X1 X# ~) V9 j4 y( Y5 I$ u - printf("Create udp send socket failed!\n");( U1 } q6 a2 F# ^9 W9 k
- return -1;
& h2 T% k( J2 p1 r$ ^$ K - }
) j! [( C+ M5 W# r2 P - addr->sin_family = AF_INET;9 B7 c& h7 y, [4 [
- addr->sin_addr.s_addr = inet_addr(ip);
1 I) V1 I! A4 l9 L" D7 W6 e7 o8 T - addr->sin_port = htons(port);
: {, o) g* c V2 ^ - memset(addr->sin_zero, 0, 8);
( o. k: d1 y1 @# x5 Z. X7 Y- q& ` - return 0;
2 k6 O" ~7 t) z* e - }
复制代码
/ A$ l4 I- v4 t( d* ]) F" c& B. ]8 x* V& L
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:7 ]# e$ G/ \6 X6 `2 k* w+ i
* \1 ]4 }$ w- l1 u( V6 y- i- M I" E( m0 B4 ^' Z# q" \
- while(fend > 0)
6 y, ?" `- V' l% l/ f! }1 ? - {" |& E8 i8 d' s. q) E0 z
- memset(picture.data , 0 , sizeof(picture.data));/ l1 U9 E/ b( ?6 T
- fread(picture.data , UDP_FRAME_LEN , 1, fp);# C! K+ P F- m! Q1 v7 D, P' b
- if(fend >= UDP_FRAME_LEN)9 k4 V: W) M# ~1 }& K, S1 B' \
- {
! v0 y4 J7 ^( x& ?$ M- B - picture.length = UDP_FRAME_LEN;5 d- b+ {' A" F% h
- picture.fin = 0;
1 a' ?/ s+ a- a% z G. \ - }
! F: a) R5 q2 \+ k6 ~ - else; b6 ]2 }, T6 a
- {
/ W( o4 W. `1 O! L7 K# Y1 |' Z - picture.length = fend;0 B% Z! d3 |" i
- picture.fin = 1;
( L |( ]7 x1 ] d# q5 j# \6 y. K - }7 p5 j1 ], S9 `( e! j. i2 f
- //printf("sendbytes = %d \n",sendbytes);
, W3 ?$ d' T& x% J7 e4 ~! R% v - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
4 m$ m$ Q1 t& G& `5 K - if(sendbytes == -1)" k' D+ y! x$ J# Y7 g, C2 x
- {
: r% m( R3 z! P K5 W: W% H- E - printf("Send Picture Failed!d\n");
@+ H" U# U5 `+ ] - return -1;/ a' j' F: t) E. g
- } E! H9 W' l8 C! u$ f
- else
- p7 t4 {7 j/ ^9 a; I0 E! P/ m; G9 ] - {; J# q: W7 V$ w$ {
- fend -= UDP_FRAME_LEN;+ I' k& p) v9 k) U( X9 i1 G- Y
- }
8 \; G8 n0 D t' o - }
复制代码
# R$ D- e" q& w! g3 ]3 \
& \" C: x3 r- b& F( H( q % s% o: P* _/ M" `1 K
4 }# R$ p9 X5 b3 K* m" DiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |