本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
7 n6 Y% d: P( |+ @7 J4 W3 W
5 `, P1 h: G, \0 v ; C8 ]+ Y, k; }7 h- h& g6 }
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html0 Q6 Q4 u( i$ m; {. ^1 N$ t
7 A4 t$ V1 D8 @; `% q
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 {; R* E: w, G

1 Y! }7 N$ C B) o" \1 ^; U3 v两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。
. f% X; L% ?3 c1 c7 X% A/ c" ?一、HTTP网页服务器; k5 y/ N7 K" c( Q% O3 Q8 S6 L
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)4 N" Z3 d# o- K4 i6 N+ s
- {
2 r9 n0 z# U( X% U4 U2 ^# c. p - struct sockaddr_in servaddr;
6 c7 h0 q0 @- L7 u; Q8 O6 ]6 c - socklen_t addrsize = sizeof(struct sockaddr);+ z0 m8 G+ ~1 Y9 y& ~9 A
- bzero(&servaddr , sizeof(servaddr));. b& E7 g4 k, j: h- t* z
- servaddr.sin_family = AF_INET;; y7 t$ v# H9 F( o5 `: Y& T! k* V* b9 K
- servaddr.sin_addr.s_addr = inet_addr(ip);1 W: i3 U, R/ S
- servaddr.sin_port = htons(port);
* V. {% H( I+ k9 Q ~# V - int ret;6 F. J1 }4 z3 m" @
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)8 Y1 F: L' p7 T- x2 t: R
- {2 }3 }. J5 h! @1 d! k3 G! t
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);" I: K P C3 f* b) d6 f$ S
- return -1;
% b' y5 o9 C+ g5 F/ k - }
& v/ }' z! R, c4 K+ V* c - int on = 1;/ n% |+ t* i. ^% ^, _% [2 m* k3 T
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0), U5 u( [) a) n5 z8 n- [2 n8 e
- {
6 Q6 S6 O9 `0 s7 {# J+ W - printf("setsockopt error\n");% |- V2 t/ V% P1 u7 Q5 Q
- }; Z, e; p1 z i* M0 n
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);+ X% [* N5 j, f) j/ o2 j
- if(ret == -1)$ @% A8 @# Z0 P% E8 O
- {- o$ v+ o |: r& I \( C# i; A
- printf("Tcp bind faiLED!\n");
2 g# ^" V6 ~" F9 B - return -1;
+ R. H* O8 D, C" E' A - }4 Z& t7 x; Y4 r5 i4 R6 a
- if(listen(*socket_found , 5) == -1)6 k" o4 i, \4 Z3 E
- {
( Z' w2 g$ B5 G& m; y+ g - printf("Listen failed!\n");0 f5 q, D- o |4 C! k0 ~$ _+ a
- return -1;
) E) l$ T$ ^1 w) c# y( L - }8 W. ]. x, e: q; ?
- return 0;
3 N2 v8 O z* |! L4 o - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
; h: e, _1 W/ W, [ - void * Thread_TCP_Web_Recv(void *arg)
7 A3 k7 X `2 P" b0 @- m1 P# N - {! X" X% \: k4 J. e+ a* `5 p4 [3 O+ w
- 。。。) s( M O# r. D1 @
- while(1)( g7 H; H4 N# t! L: a! ^) o+ N
- {0 q1 N! p6 Y4 |+ S
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);. v% i3 l6 v# j- ^+ M
- printf("fd_socket_conn = accept()\n");4 A% R0 L4 P" ?$ A- J4 ?4 o+ B3 |
- 。。。
1 E0 u' ? n* g7 `: s - recv(fd_socket_conn , recvbuf , 1000 , 0);
5 r, @- i' c$ g& q- r2 U7 x" J - }
' `& z0 m4 B, S; V - 。。。
8 K3 ]1 J6 q9 y3 l - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);4 N! K- S/ ~/ Z
- pic_tmpbuffer = pic.tmpbuffer;
8 @* ?2 i$ u" p8 Q" a - pic.tmpbytesused = buff.bytesused;( H- ~( i9 p) c
- pic_tmpbytesused = pic.tmpbytesused;6 r% U3 C5 z# {$ `
- pthread_cond_broadcast(&pct);
% }6 {1 l& Y# `* I - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
$ j# T/ D) @" Y) [/ z7 w! O - pthread_cond_t pct;. r: w9 q* d3 J4 H+ u
- int main(int argc, char* argv[])
+ O+ Q: N4 s. O4 Y8 Q) _2 b - {
]2 T" k: s7 x+ I1 S' V - ...
- b- C4 d6 v; u2 [2 n: A2 V - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
5 e; ?9 K! g3 U( |$ ? - pthread_mutex_init(&pmt , NULL);% ?+ k" P+ d8 v2 W3 P+ o, S# B H
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
! N% }. O5 J; Y1 A5 }* B( G& X - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
( @" {6 r( N- V- z6 I1 o5 |+ d% f+ b - ...5 W* `: p9 h# b# x
- while(1)
# A- `! I3 B) h# X - {7 S. O7 N* V2 b9 E2 F# ]1 G
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME); f) R* v/ H: T" d- T b. ~
- ...- C0 F9 e u, D5 Z# Y/ r1 k$ B
- }# Y9 M) p0 c) F# X; \% \ A0 {
- ...; B" P- t e2 p! b8 h
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
% s/ J7 r, G: Y% A: W# [ - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
( E+ z' g4 D. ^" @1 ? - "Server: MJPG-Streamer/0.2\r\n" \5 M: }. Z8 W4 r1 Y% o. p
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \. X; L u6 d) {6 m' D
- "Pragma: no-cache\r\n" \
" c( o1 Y9 Y4 r# L: f l* h0 B - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"6 M. I9 r. p8 q' V2 `: Q' A- r5 F1 Y% }) x
- #define BOUNDARY "boundarydonotcross") \: z+ M' p5 V! p$ g) n' r+ x+ v
- printf("preparing header\n");
' a" _+ Q% l# h0 n - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
* f. a; u! F9 H8 r- O - "Access-Control-Allow-Origin: *\r\n" \
- x* i: r. s! J+ q/ } - STD_HEADER \% m, C6 v9 a( X' e: E. ?
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
: Z3 Q# f0 c) V/ W6 m# R - "\r\n" \
9 p& F1 s! H4 `5 g - "--" BOUNDARY "\r\n");
# m* h8 b# w: y5 S0 F8 G$ e - if(write(fd, buffer, strlen(buffer)) < 0)
, h6 I, a2 Q5 v* J* J - {
+ x* I; Y5 h' p0 Y+ a - free(frame);4 `, n% G" _1 l7 _
- return;
1 E/ b; K1 D+ N - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
$ S6 { ~0 [: \ - "Content-Length: %d\r\n" \" r6 ^; z( a8 ?% j
- "X-Timestamp: %d.%06d\r\n" \" e! M/ ^, H% _% S! W) t
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
( i( B$ s$ |/ _5 D3 j - printf("sending intemdiate header\n");
4 D; G; U" J( Y, A% A# l( h! P. X - if(write(fd, buffer, strlen(buffer)) < 0)
4 O5 W3 }% ?- A4 X- P6 f - break;
# j2 C+ R/ U: s/ \4 r8 j - printf("sending frame\n");, H3 A `3 ?) D" y5 V8 C
- if(write(fd, frame, frame_size) < 0), o9 D8 V7 k$ z4 k
- break;. h2 K( p: T4 M {0 m) g2 ^
- printf("sending boundary\n");
4 ?& g. e: A+ v& b* a* j - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
' ]% r7 x, D9 Y) \% }- z: g - if(write(fd, buffer, strlen(buffer)) < 0)+ e* O' X9 O0 R6 W5 \3 N9 n0 k
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
' i2 Q! C# z+ ^1 s: h
4 Z+ l- t/ {3 U% C) z0 P二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:( l0 U8 y! N3 U2 W
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
: I9 j, n2 P) M- A$ A# ]# h$ R' i - { ?1 u0 Z) k: n+ i) T- l! t- g
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0); o0 r+ d0 X# }/ T o
- if(*socket_found == (~0))% u1 n" {. K4 X5 k9 o
- {
1 ^. K! Q( d8 a - printf("Create udp send socket failed!\n");
' ]$ v, c& h A* {$ z$ e - return -1;2 ]" h/ @5 x4 _" G6 O
- }! u- y0 ~% |( | S; L( v
- addr->sin_family = AF_INET;
8 ~8 Z0 `6 ?! j8 E) Z& O! O. T9 [ - addr->sin_addr.s_addr = inet_addr(ip);
) U9 U( h5 k* n4 }! b5 k - addr->sin_port = htons(port);
. Q a, @8 B9 |# Y$ q0 d1 [ - memset(addr->sin_zero, 0, 8);# l1 h3 _" M @6 b
- return 0;
3 Q+ c! `/ W v4 S' S/ k - }
复制代码
# w2 t& E G) w4 w8 s" S# T g6 c, g: G. v0 k
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:' f# l: G# h$ p
* h2 O! d5 R* d' n% b) A6 _8 d
3 z3 U3 g" k6 u2 V- while(fend > 0), Z9 Q( x( W4 M& {8 ?
- {
+ i$ E( F5 H& |. i! s - memset(picture.data , 0 , sizeof(picture.data));
9 f% R: j0 T" [3 r# y) Q1 O# M' M5 M8 F - fread(picture.data , UDP_FRAME_LEN , 1, fp);# g, K! d( m. f: H" g9 j& b4 `
- if(fend >= UDP_FRAME_LEN)
% c1 y) W- _& X( d! [ g8 ^ - {, K! Z u) C- b# M+ M X/ M% s9 P
- picture.length = UDP_FRAME_LEN;- R5 c7 n2 P0 c+ M
- picture.fin = 0;
$ B2 j, @1 g/ U! K% ] - }# R$ {9 H- l5 x e, u
- else$ {- @7 i5 M) V0 C; s
- {
( t5 Y* M1 s4 E/ {. Y4 o6 h2 w - picture.length = fend;
3 P. {) t4 [0 j1 r1 D - picture.fin = 1;
- S( s+ T: Z0 [, N/ ?) Z# }/ E - }' v2 A) }3 k, P. a' H, g- A
- //printf("sendbytes = %d \n",sendbytes);
* k: l- f# ?5 O( y2 ^, v6 q0 a8 q0 ? - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
x- v$ }1 a/ {% G$ W - if(sendbytes == -1)
s% Y! y- T6 J g1 q0 c1 u0 L - {
+ d* g- M3 m. Q/ R8 z& M - printf("Send Picture Failed!d\n");# l/ p; a: I9 c; u6 m5 n2 M$ s+ J9 ]* c5 i
- return -1;
- i( r6 `- Q1 ?' n7 G - }8 O, T1 c% D ?7 T
- else* a8 v7 E" }& f% c/ G: L
- {
0 B+ z: y5 p- ?& {3 J - fend -= UDP_FRAME_LEN;- Q* j4 N- p- \" l8 g8 v$ N: s
- }
% q$ A: E. ~4 R8 T! A' g3 [/ Q - }
复制代码 # T1 B% M; u/ b+ E6 w* R# I% e. @
6 J* @ h6 W- V# C; J. f0 Y 1 n! b, Z+ [0 B0 p. D
9 E1 O/ f7 r k1 R7 O
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |