本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
1 i5 L+ J; V7 o+ v" l1 e8 k. f! O( J \. P' K" _+ l \0 \
 # P0 n, C: P, x
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html
# X$ w* m( n4 l0 H M5 |- B6 \% N) y# f4 T2 H" C Q! d
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。
" ~' \( P! }* `3 d( [1 _ ' {! j7 P: r; f2 |5 ]2 d
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。
2 r2 @. U0 |2 q. T- k e一、HTTP网页服务器" b% {7 \8 A( ~; @, {4 v. A4 j
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
$ t1 m/ F8 t- e; e6 L5 x4 o - {
- C o+ J0 I% N% Y; R, y - struct sockaddr_in servaddr;
5 m7 E7 | p% Y, |/ n - socklen_t addrsize = sizeof(struct sockaddr);2 M3 i* L9 l) |8 l6 L) e$ v5 m6 I
- bzero(&servaddr , sizeof(servaddr));
* G6 m2 C6 J3 A - servaddr.sin_family = AF_INET;% e) D* |; N0 B4 F: f# N
- servaddr.sin_addr.s_addr = inet_addr(ip);' h/ Y( F' `2 C' y% }
- servaddr.sin_port = htons(port);/ E* ]: j% A" i- G
- int ret;* f8 V7 y9 x0 `5 y4 D( `+ e
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)& n* u% w o" s6 y- o
- {- M, Z8 E5 P0 a9 T' K) a
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
2 y1 y5 T" ~$ _( l% } - return -1;. {1 s4 {% b8 J# \( K
- }
! A$ M; i+ _- p1 @3 [* m - int on = 1;* }5 y6 _" ]) e! x0 r2 B
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
' A e9 s- B$ ?+ N - {- \* `( s5 D8 A' ^. l" V' |* |) }
- printf("setsockopt error\n");
: h) v6 ]4 g5 M6 t - }) E- |. Q- K9 `% H
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);4 \& A+ ^; p+ Y2 l r4 X
- if(ret == -1)
5 M8 m) ^- E: L3 ~5 G/ H - {2 k4 @# t4 Q e2 e1 K% e0 G
- printf("Tcp bind faiLED!\n");
. h5 Q1 _. U8 E; i - return -1;* N0 `- ]* W; k" E8 I
- }
+ W0 v7 i( T8 N5 K8 l* g- K2 L - if(listen(*socket_found , 5) == -1)4 X5 i9 c8 G3 {: x A; [
- {- `# _: l( k1 }2 e0 A0 q
- printf("Listen failed!\n");
9 z- u2 ]2 |4 T( B4 L - return -1;" w: s3 i6 o$ c! ?4 I( {
- }( B) G. R4 N" M$ a N! d
- return 0;
5 _) j6 w2 l3 K* Z - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
$ a" u& n/ M5 n% O1 q) q - void * Thread_TCP_Web_Recv(void *arg). K6 ^1 _. }$ K3 y1 n
- {
2 b# M/ r6 ]9 A: U) F - 。。。1 _( F% l8 U. p3 N* d: M. l
- while(1)
" A/ h u R/ T - {
( r) O' [% f) X - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
+ q0 G, f- Y5 F - printf("fd_socket_conn = accept()\n");; G! m2 ?* u6 |4 a% F e8 H
- 。。。
& U- }9 R, ~' T4 y: R: e2 g - recv(fd_socket_conn , recvbuf , 1000 , 0);
: \0 v3 Y! @) Y) E - }
# B0 a% z ?/ u - 。。。3 q5 `) o8 l' ~4 @
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);2 E1 _1 X, q1 [9 y
- pic_tmpbuffer = pic.tmpbuffer;
( Q* i' D% b( |- U, L5 M' l - pic.tmpbytesused = buff.bytesused;
$ ^: ], Q! M1 l8 y% n" K, E - pic_tmpbytesused = pic.tmpbytesused;
9 g/ z9 [! g( J9 B7 j - pthread_cond_broadcast(&pct);3 } V+ b( {, ~' n
- pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
B0 N8 l% E" n2 _2 M - pthread_cond_t pct;3 f# P" W6 T8 a2 J5 _* F
- int main(int argc, char* argv[])
# F8 N* B4 U6 O: W3 |9 q2 X - {: x- D3 r$ n* J, C! I
- ...4 U! R1 s g7 y" B$ E4 }) ?
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
; p2 _% n+ o; @- R+ b9 [) W - pthread_mutex_init(&pmt , NULL);1 L$ h* ]% r6 a8 J2 _, g4 k
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
' U" s6 h. \ N! Q6 ]9 T9 ]2 n - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
& _( Z. q8 P. U8 Y; q) K - ...0 r% m2 b6 n C) {
- while(1)! N- C4 V, c W7 X1 M& Y
- {- X* O% ^" h8 A9 s+ h' r+ Z
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
, W+ b+ u2 l* I# ] - ...
* v7 a: f! h& A, r6 l$ W0 z - }
/ |+ V- ]! ]: r9 D* L3 ? - ...+ i# W a6 i: D5 D' \- W& b6 R
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
" @) c9 L% B' @5 B0 C" K$ W - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
7 d, k6 ^) J" ~( Q* I5 g! U - "Server: MJPG-Streamer/0.2\r\n" \
. I1 h( m1 M3 _) ~ - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
( Z0 u) K1 n3 O, Q* t. D% n X3 r - "Pragma: no-cache\r\n" \& \$ _" g6 r1 Q+ h, m0 Q$ E
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"# Q/ K0 R2 l7 A( k3 t9 ]3 W) N
- #define BOUNDARY "boundarydonotcross"( ?4 k4 X- I4 W. J* Q5 }& T$ _6 ~
- printf("preparing header\n");
- L) f0 ?( Z3 A( B. V - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \" i! q. @+ @$ Z1 L, ~ p
- "Access-Control-Allow-Origin: *\r\n" \* g' Q0 P1 A2 q! |
- STD_HEADER \* ]4 t3 I) p( F; k6 o
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
6 J5 Z' f2 w( u2 Z7 m - "\r\n" \
6 m- s8 F- h$ S# C1 u# ] - "--" BOUNDARY "\r\n");+ f3 c; d/ F9 f3 D
- if(write(fd, buffer, strlen(buffer)) < 0)
% J% b$ g0 t! t7 g - {* ]) k/ ^) ]# A$ X4 m$ ?: a
- free(frame);
( q0 T2 |' _, C, I! M$ I$ R - return;
$ h! C& F ~" ~7 Q1 D, ]& N - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \% N: A7 x6 ^. q$ l8 i
- "Content-Length: %d\r\n" \
: F6 c& _* `/ s0 y- p - "X-Timestamp: %d.%06d\r\n" \
1 [; A: L$ C: @2 k ?! f - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
4 Y- D3 [% O7 ^$ V* o x. N3 l - printf("sending intemdiate header\n");
0 f9 G, G6 Q X - if(write(fd, buffer, strlen(buffer)) < 0)
& ]8 M7 Q" b/ w1 [1 Z - break;
! r1 ~( x+ \. a' g+ ~ - printf("sending frame\n");
$ x6 r$ W+ W' r, M - if(write(fd, frame, frame_size) < 0). F H4 F: ^ t1 Z
- break;
" p6 ]1 ~ A4 ?! G - printf("sending boundary\n");
5 V: P: i( k6 Z - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
, d5 p' l$ |6 o" v4 Q j5 H - if(write(fd, buffer, strlen(buffer)) < 0)
& R% n7 t3 E9 ] Y% i - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。  1 A' u0 p( N+ _4 A d ~

( u2 A2 u" l- z! V0 @! l二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
! ~# I O( `( g% K7 d1 Q- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)( r( l4 I, {5 L
- {
& \/ I- E8 c+ H& f$ I; a7 O - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
- O8 e8 a- M0 M - if(*socket_found == (~0))
& T2 J k% |$ n5 P: p - {
: P- N w/ q' I" @. ^" b9 M - printf("Create udp send socket failed!\n");
) Z- y, y. z- b+ O" o5 }1 c g# M6 ]4 ? - return -1;( z$ X5 u( P/ x. R
- }
7 f1 ^& F& q# U* l1 u+ o+ e - addr->sin_family = AF_INET;' m" Y2 K6 q1 S% D+ r
- addr->sin_addr.s_addr = inet_addr(ip);
' V" L5 r! d8 S& E4 K - addr->sin_port = htons(port);
& M5 }, F8 D# d/ d! W2 @ - memset(addr->sin_zero, 0, 8);
* r2 N# R9 m- _2 o - return 0;: B1 C; w( K$ I. m$ j/ p& T
- }
复制代码
) Q6 R% O; }* ^4 B" D4 C% i& H( O+ c2 E. X/ ?, X
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:' P- L; r2 X8 j, m
: v y6 A* g0 D, e" H) u8 |; I ~7 q3 A5 w- E
- while(fend > 0)8 N- J! g; @6 Q
- {8 j1 z0 B5 E. e. N, ]9 w4 M
- memset(picture.data , 0 , sizeof(picture.data));2 C, p- l* G: {3 G/ l* s# o. }
- fread(picture.data , UDP_FRAME_LEN , 1, fp);
' \9 v+ c. {. h7 V4 H - if(fend >= UDP_FRAME_LEN)1 S& _/ n4 z6 c, p$ X: H' t4 i7 L
- {
3 H' T, f7 u% d - picture.length = UDP_FRAME_LEN;
5 `- K( t! J$ X: z8 V; v - picture.fin = 0;! E6 r/ q5 W. f. M
- }6 f# Y$ i1 m0 Z6 l/ A
- else
' c) L( M1 R+ Y3 I" `5 ] - {& U, q0 o: V# K" x# x: f/ k
- picture.length = fend;
% z4 D: n) C7 N# A - picture.fin = 1;
4 `3 q0 ]& z" i( h - }7 g' S& [# U( z. V) F
- //printf("sendbytes = %d \n",sendbytes);
. B6 J1 g% f' g$ R8 f1 d - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
" b" M- [! b5 Q3 R4 F- x$ I - if(sendbytes == -1), X2 W1 O% G% l
- {
, f" i* C$ @) ^: |5 @2 W* H - printf("Send Picture Failed!d\n");- G1 A: z* P5 @4 d4 E( G( [
- return -1;: v8 `, I2 Y" j3 P5 `8 k
- }3 C5 b1 i. W5 O# j% ~
- else
% s% M8 }) L5 i1 g: Q! l5 y - {
* c9 W* C; n; m" b - fend -= UDP_FRAME_LEN;7 n# y# ~0 _& m2 y% E9 v
- }6 n# E' W Q1 G; `% ~
- }
复制代码
" ~, Y9 L0 V0 Z: ]9 }0 ^# E8 d. V+ @8 Q5 u2 W8 H

4 K5 L) W' X" d; Z H' ?
3 s+ K- X7 L: `$ o MiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |