本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
5 c5 L$ h1 A" R5 P) k& m" a( T
7 F2 D) [5 T1 p3 T I$ N
% d' C6 z n7 T; P8 E作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html+ z+ o: K b$ T; B# P3 L
3 M9 X3 R5 V( X- O9 X本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 9 z" s& q( \: W7 s( ~" t. p& p; ~5 E
 ' T ]' k- f1 A" b5 k
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 : _0 i# a: ~1 O) e( u, M: s
一、HTTP网页服务器# p+ T' t, ^+ D2 p
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
* S. D5 |+ p/ @, Q" q$ o - {
! y [, y# l& ]6 N0 C. R - struct sockaddr_in servaddr;/ y+ O$ p+ J- H0 g5 c6 V
- socklen_t addrsize = sizeof(struct sockaddr);& _' k0 z* t/ F: S+ }# U: D5 b0 S
- bzero(&servaddr , sizeof(servaddr));
8 \3 |) D2 F/ j2 ?( S( Y, d7 P6 S - servaddr.sin_family = AF_INET;
4 ~8 T( S3 l: M. s3 R - servaddr.sin_addr.s_addr = inet_addr(ip); c" D/ Z) [9 R, \" M, s
- servaddr.sin_port = htons(port);$ y' k$ I: ?& P: ]
- int ret;. {" p6 Y/ g5 \( ]( J! w* S
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)! t- b6 s5 M! O4 ?6 W- l
- {
! O: K; Q6 L/ q( |3 y - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
* K# j& d# x: R2 X2 X) i8 p6 x1 \ - return -1;4 X+ f4 b8 H+ O9 C6 s
- }
, @4 v$ U C% {8 M. ]1 n$ S/ u - int on = 1;- @% Q0 |) E/ C# |
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
7 o; |+ g4 i) M5 ^1 E% h# q; b - {& v' w6 {; p* d$ p% c) i1 J
- printf("setsockopt error\n");" A6 C `& U$ l
- }8 r4 e! m- E: l" |
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
# D1 O. [7 ?1 ~( c; k* t' k1 d - if(ret == -1)6 }( L$ P+ k. Q: J
- {
" u0 M5 q6 }3 g& V! H% k - printf("Tcp bind faiLED!\n");
! D* {. [7 k1 d% F; w - return -1;
' O l7 W3 {3 V6 u - }6 ^9 V+ i( z% o) `& Q
- if(listen(*socket_found , 5) == -1): K$ X9 H" c& d) A
- {
2 ?' y! Y9 Q4 |# m' U - printf("Listen failed!\n");/ u- V/ B( _2 Q. s5 y( \( a
- return -1;
; R0 B2 G% s b7 r1 X# m - }
+ `' ^6 ^ K% ^; C - return 0;9 \4 j( q3 U* w' E) X5 ~# b
- }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
7 O- u1 H9 i. v. T - void * Thread_TCP_Web_Recv(void *arg)1 L- `+ M. F. p z. s6 R! [
- {& \* P1 t% y3 G" Y
- 。。。
: \' w7 M4 h1 ?4 H5 M m - while(1)2 Q8 p9 |. Q; ~0 n
- {9 R' w. U1 s; N) w) a& w
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
, c @$ v+ S' y5 F" C4 e& s8 x' r - printf("fd_socket_conn = accept()\n");& ^) f9 `# u- {& D/ q
- 。。。+ L2 i, O* \$ x: K% n
- recv(fd_socket_conn , recvbuf , 1000 , 0);! x/ o, C2 r6 Q0 P. M; \5 V; L
- }3 h( v" z4 z5 g4 h' T7 ^
- 。。。
, d- @; j2 b- ^; z) o- R. J - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);& r: e3 v7 p, O. m$ S0 }
- pic_tmpbuffer = pic.tmpbuffer;' u: d4 d5 r' R& h
- pic.tmpbytesused = buff.bytesused;
3 c5 r" `7 S/ x+ O: l) V - pic_tmpbytesused = pic.tmpbytesused;: s8 Z0 m' I# o4 C
- pthread_cond_broadcast(&pct);; s; J8 b( A) b' j# n. A8 L2 D$ D# z
- pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
8 H& ^4 |$ ]8 `6 d, s - pthread_cond_t pct;; t1 j* p5 L$ L6 \0 S8 P7 h+ R R
- int main(int argc, char* argv[]). I1 q+ P5 c7 F9 V: p
- {
`$ U/ V# j) V; o - ...
0 v3 {; p) p" g - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);7 g# o5 h, ^+ z2 C8 f! z1 o
- pthread_mutex_init(&pmt , NULL);) r* S' Z/ V5 e R: b% z6 w; d4 R
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);( h* [- ] n* u( a
- pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);1 j+ W3 `% s3 d
- ...
/ ]: ^) n& V5 A2 @" \ - while(1)- I7 ?. n* S% Q) Q7 G
- {8 P7 e0 z5 Y, S$ t
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
" A0 m0 O! R) ]9 E - ...
* n5 w/ M' s. J) t, U& k2 L" ~ - }
4 Z& O1 d% R3 Q2 n/ y - ...2 r) t3 z7 f! d7 W
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
8 n7 z1 _3 m# u - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \$ P+ l- Y6 E4 }2 T! y5 @
- "Server: MJPG-Streamer/0.2\r\n" \
! k/ H/ K5 P. ~ i6 T% D7 M( P5 k6 v - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \4 @5 T$ b9 B1 ^" m& \ k$ X
- "Pragma: no-cache\r\n" \
$ m2 z [, I$ d j9 B - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"7 `: z/ Z; q% |5 ^
- #define BOUNDARY "boundarydonotcross"
- T4 V! h ~% m' x. F5 p/ R* I - printf("preparing header\n");
. r8 j8 B: c5 A9 n - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
! w. N& G V q( g, R - "Access-Control-Allow-Origin: *\r\n" \ r1 x7 N0 M$ o8 Q* n
- STD_HEADER \
( a; Y2 N. }/ n* S; L+ { - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
1 y; N; T {- t- V% H& O \ - "\r\n" \
8 m3 W v; Z( b+ P$ {/ ]2 I+ o - "--" BOUNDARY "\r\n");: ]( }; Y) S- R1 g8 H- ~9 _2 u
- if(write(fd, buffer, strlen(buffer)) < 0)
3 `8 ^0 }5 {' z5 G% F - {
$ }# n6 S5 z3 v' k0 i( n3 T - free(frame);. ~/ ~0 A( ^' @* |
- return;# d" ]. s3 a$ K, U; q: g; ~ x5 t9 _) s. u
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \; n0 |# A- m/ y4 r; ~0 _* B
- "Content-Length: %d\r\n" \2 n* W) x- d7 E; k1 u5 W% J Y
- "X-Timestamp: %d.%06d\r\n" \
6 d+ n/ S) a7 M+ }# ~8 @& S - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
7 k0 U: K/ C( x% b! ^9 W; ~& @ - printf("sending intemdiate header\n");4 X8 H0 F6 \0 z. M% u, e, s% x# _
- if(write(fd, buffer, strlen(buffer)) < 0)
/ B f& T0 a5 {% o! F+ ~ - break;
. M* g# Y4 Q8 H0 V; Q - printf("sending frame\n");
; y, ]0 @4 ~6 a6 ~# Y: H. W+ N - if(write(fd, frame, frame_size) < 0). } o o, u- E8 g5 A
- break;( a6 e) @, R: x8 ]. r
- printf("sending boundary\n");$ l& Z7 _$ c1 R& q) J! Y
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");3 Z" ^- g' g- h0 [" Z& a6 ^+ F9 ?
- if(write(fd, buffer, strlen(buffer)) < 0) f+ ]8 b; N9 {& B/ L! o
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
* g' H2 T1 p/ L! d; u' o4 m
1 L2 {" B/ t {) D2 h二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:0 }' N/ {* b$ e) X% {9 O! A
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
2 x9 Q4 N) C0 G9 Y6 \8 [9 A - {
b' l& [+ z, `& ~ - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);' _& ?, X! n" }( {
- if(*socket_found == (~0))
u* |0 l4 H0 u" F" |1 g - {
6 }. t5 b# w# P; Q8 Y* B! x& _# J - printf("Create udp send socket failed!\n");! J- S/ o- W7 e! U- z
- return -1;1 |6 b& ` i% X7 s2 D4 O1 ^5 L
- }
; a% p. c' ^% r4 v/ |0 m8 o$ H. m - addr->sin_family = AF_INET;- L; X# L3 z0 U
- addr->sin_addr.s_addr = inet_addr(ip);
0 n5 Q& f/ x, W9 W5 U- D7 d% O- E& C, @ - addr->sin_port = htons(port);
" y# E% L4 M, }2 L# g. l - memset(addr->sin_zero, 0, 8);
5 Z" p6 h) L! L7 r1 m! z - return 0;& T ~$ o& `% t1 e8 o7 b' }6 G Q+ c
- }
复制代码 x9 H$ k( P. P; E7 M
& P0 @( Y* c3 k5 z' T1 U$ ~! b
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
1 q/ W( R8 h& ?9 _' o2 F- g/ Q R' y% E v/ A- Z$ d
9 Z4 g v& j/ Z* o% C+ w1 P4 w( g
- while(fend > 0)
; f! @% K8 d1 _0 f4 Z Z! Z. b - {
7 U1 Z: w1 y, k0 B# ]; o - memset(picture.data , 0 , sizeof(picture.data));; k/ Q5 M0 g9 |
- fread(picture.data , UDP_FRAME_LEN , 1, fp);
1 E# Q, o" f' i/ J9 D/ \ - if(fend >= UDP_FRAME_LEN)
" t' `4 ]- a3 \" A: o - {
4 f& H0 J/ G' o0 j$ C2 { - picture.length = UDP_FRAME_LEN;: _ [- j5 V7 P. l. u' ?8 }
- picture.fin = 0;
) q) l; N2 a3 F, o# I - }
1 S2 z L, o' O, K, \; ]# F* @, b - else
. r% l3 r$ s+ N5 Z9 j1 F6 I8 k - {; [4 A% Y6 H& X8 Y
- picture.length = fend;( `1 W6 u' T- l
- picture.fin = 1;
# Y" Z6 j8 y0 N G% D% }- T0 [ - }8 B9 I( N/ p, p" \7 R( y# V7 ^5 I
- //printf("sendbytes = %d \n",sendbytes);+ w6 T' x" J# I; k2 Z1 s
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
/ J6 M7 s' }# ~ - if(sendbytes == -1)$ U N1 _5 H% ~+ g
- {
; Y9 N0 F* S: C- e0 x8 X8 @! _6 h - printf("Send Picture Failed!d\n");
9 x: I, x5 ^% h5 ` - return -1;) O4 I# b* z& X' _# O
- }( t7 } h7 y9 G
- else
0 |% ~: K4 B+ f% A' U2 ~0 q& m - {
% \4 o0 y) k) \2 F4 Y7 x - fend -= UDP_FRAME_LEN;* M2 B0 p' R3 Q+ K
- }+ @2 z* q5 A2 j) U9 K5 j) g3 K
- }
复制代码
( a+ k0 J" F1 q; E$ o) @
; S# a8 f! }+ W O
9 J# s* [5 Q: C0 J7 U: x
9 w, [& @4 T# c. o. Y7 K3 ZiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |