本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
8 l! t0 k3 Z3 s t9 s9 S
$ I7 U5 ~" y/ U4 M7 ?7 c% h% M: }
. [1 q% |3 s! u, ^$ y9 }作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html, [& f. v5 h, M$ j/ `/ Z6 @' y: |
+ ]/ W: `! E& H2 i
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。
8 }# J% ^5 O# X0 r# C
7 X" \; l. Y+ g两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 + w: ]" s' K! w; V1 S5 H- ]3 X: Z
一、HTTP网页服务器/ F! K8 M( y" w0 X
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
) q8 l& ~" Z% l& u$ A( X - {+ \4 M& V3 ^0 R. W
- struct sockaddr_in servaddr;
. l) b, H, o. [: N - socklen_t addrsize = sizeof(struct sockaddr);
2 g+ J% N K1 c- Y2 P+ S - bzero(&servaddr , sizeof(servaddr));
1 |0 B* u: Y. Z6 R - servaddr.sin_family = AF_INET;
% @1 |& D' P+ S: S/ B% T$ B - servaddr.sin_addr.s_addr = inet_addr(ip);& _0 ?, U# c" }& y6 ?
- servaddr.sin_port = htons(port);
4 {. F' J3 c2 B r* _" E - int ret;
5 `% v. i7 I; O: H7 [) z - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)4 x& U+ o5 o! J! W* r. Q
- {
* g( {( j: w6 n4 ` - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
9 Q0 o, t: Q- { - return -1;
9 E' N, Z" ^1 t) H8 Q - }2 d2 O% \9 B6 @5 `, o
- int on = 1;0 V6 j( v) ?4 p& m/ {, |
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)& K6 c, s& ?: j7 |+ `/ f
- {
1 a: ^/ ] f! v( a - printf("setsockopt error\n");' W1 c- _: K; K4 |$ p; }
- }
! K4 c7 w' h/ h1 w* b - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
' } C. s- Y. O% r% t* m1 E9 v - if(ret == -1)/ P4 u; E9 e& R0 X* {: u0 ?
- {! `+ ^% Z3 H& }# G
- printf("Tcp bind faiLED!\n");
7 p3 v# ?: e; ~( a& Y/ c - return -1;
" {) Q8 q7 A) f - }
- h; B/ `. t u9 `2 E* b8 \ - if(listen(*socket_found , 5) == -1)
+ i" R( T$ f3 x) o. t1 p - {$ c4 g4 p& H3 G4 N/ }
- printf("Listen failed!\n");) T$ O0 E. K4 m
- return -1;: [( l4 @) H: H6 P
- }* u, q- O2 y4 c7 ?7 ~! l C
- return 0;% l R Z8 b! K* a8 |
- }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
( T4 n! L% r% n! ^ - void * Thread_TCP_Web_Recv(void *arg); g+ n0 Z4 t$ Q
- {/ f' l" e# J- v5 f
- 。。。
' M/ o0 r( B& T6 y% C9 I# { - while(1)
% a. C; r! c2 c/ b) N% t ` - {
! L7 _; ^* M# ?. ?. o5 t - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);, P- M! R1 f. Z+ Z% ?
- printf("fd_socket_conn = accept()\n");
. R# G0 L7 v4 k Z, p - 。。。4 q& I5 E1 o) u% ~3 v
- recv(fd_socket_conn , recvbuf , 1000 , 0);
" i2 r. R3 \- }0 j+ y( o - }
9 y$ u2 I. M1 j* K - 。。。6 u- _4 @0 V" L1 _$ @( J
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);
- o9 [! W, v+ u7 a# m; T. D - pic_tmpbuffer = pic.tmpbuffer;
! z9 }* `' z& ]! p& e# F4 H; P - pic.tmpbytesused = buff.bytesused;
$ i, M& Y) A- p - pic_tmpbytesused = pic.tmpbytesused;2 e, L0 U$ g. F1 k" Y& f9 ~
- pthread_cond_broadcast(&pct);
; m- Q$ @8 H& R - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt; g( [/ k4 x/ W' M! p, L5 j
- pthread_cond_t pct;
4 {. _: b q& p8 q: Y, I - int main(int argc, char* argv[])7 ?( B3 A% W- L- F- l3 E
- {3 L5 T1 B' s6 \! a9 D- \# a" G
- ...
+ e+ K* A2 J; L4 F5 ^" ` - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
6 {5 l G9 F4 n3 }6 E3 K - pthread_mutex_init(&pmt , NULL);2 n" l1 |( i3 u( U, m
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
}9 ?, T; V" w+ R" F - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);9 V) r5 S* ^. h* f' i0 B+ D
- ...
# F5 D6 Q! X1 |$ M - while(1)7 P$ i5 g X; V
- {
3 j' }8 e# ^# P/ {1 b - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME); N- j, M) S2 s; q# i0 P
- ...; `, x" v) q; [) A$ e
- }
& @2 W7 `( t% A6 v* s$ u/ ?4 _ - ...+ J* [4 \+ L1 _$ n7 d7 W
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
5 T/ p$ N; G0 ~( Q" o8 Y - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
/ Q N$ B" m# d3 R) h2 ~' e/ \+ S - "Server: MJPG-Streamer/0.2\r\n" \
2 E+ u+ V) O. s! { - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \% u: M# A5 t. l# [$ ~2 W& V) E
- "Pragma: no-cache\r\n" \# X1 }" }; I1 e4 N/ T
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
& z G( A/ r) _9 u# m1 Z7 ^ - #define BOUNDARY "boundarydonotcross", j* O5 W" U* W, o8 B+ H8 o! u
- printf("preparing header\n");
/ [4 I& a) G7 H" [# u - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
( D4 d( {8 T7 F9 H6 T |4 T - "Access-Control-Allow-Origin: *\r\n" \! n7 E: ]; E' ^; f+ \. ~: n' a) ~
- STD_HEADER \- Z. s( m& `+ R7 C6 H- ]. ~/ ^: m$ k2 {
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \" j0 Q0 b9 g8 E& ?6 F
- "\r\n" \
6 V. O! T, ?1 m# K. k# o - "--" BOUNDARY "\r\n");
6 i& q6 n% H X( o% M0 m - if(write(fd, buffer, strlen(buffer)) < 0)
% h) ~0 H h# n - {3 \2 l2 p. M z R( E
- free(frame);- d! A9 Z+ g. `! d( O6 y
- return;
) e( L$ @: w+ Z& R - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \6 P, b3 U0 J" Z% V; I' ~5 K4 ^
- "Content-Length: %d\r\n" \. j j' o5 B: B( b* Q5 j- ^
- "X-Timestamp: %d.%06d\r\n" \
4 q$ g- z3 h0 C! Q% {9 P) g - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
8 E! J( A# N7 \: R3 a - printf("sending intemdiate header\n");
& I2 F; M) T. W/ u3 n! L - if(write(fd, buffer, strlen(buffer)) < 0)
* K! s6 C% Y w - break;, o- ?2 ~0 N- m% }1 `
- printf("sending frame\n");
5 z8 f, ~* [/ H* f; F6 H) H - if(write(fd, frame, frame_size) < 0)
( q1 W2 t0 a! L: t6 L- }7 g, _ - break;
g( ]7 e( E3 Z# s( c - printf("sending boundary\n");
/ c' @& X) G# v. T7 w8 }% S# J6 p - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");3 Z$ C4 D7 O3 y
- if(write(fd, buffer, strlen(buffer)) < 0)& X) D. h5 L8 _* X
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
* t: Z& M1 b. v& l! p+ P, E9 k $ e4 ~( F; z5 Z8 S3 J, Z
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
0 f. h& N1 m2 \: x- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
/ z$ [; [8 l p- Y5 e% U* k - {& g! \. a2 f! g& C2 P- q7 b/ a
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);% N8 |& I$ {& h' a* S u7 x8 Q
- if(*socket_found == (~0))2 {, q2 L( h! ]1 ~4 z" R
- {
" E# o b3 T9 r3 ?! q/ S6 } - printf("Create udp send socket failed!\n");
2 R* l: `$ Q/ c4 q4 }8 y - return -1;9 X; t. N$ `" _, Y
- }
; h+ w' V/ E; o0 x - addr->sin_family = AF_INET;
* e: V% n: s: j9 f - addr->sin_addr.s_addr = inet_addr(ip);) o0 L4 T7 R7 H0 p" Q
- addr->sin_port = htons(port);, n; Z0 c9 w" u3 _4 } s% V; a
- memset(addr->sin_zero, 0, 8);
7 _$ ~4 @( |0 U) b4 X - return 0;
1 A6 r0 }5 A) ?0 v - }
复制代码 ( n8 w6 a7 s8 S" O
% c, [, N' z+ H: b; P; ~; Q而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:* C6 i8 f6 k3 u+ A9 P& A' z
J' `2 H* w8 u1 Z6 ]. L
! p: Q2 n/ P" T _! Z- while(fend > 0)
0 k; @! \4 K( O# J, Y" I4 }4 E ~5 {! L - {. J( D8 }9 G* C# z4 O
- memset(picture.data , 0 , sizeof(picture.data));
2 r$ D4 G6 _$ |% S - fread(picture.data , UDP_FRAME_LEN , 1, fp);
! m# f- g w) {# T8 \3 U# ] - if(fend >= UDP_FRAME_LEN)
+ d% j. B* I7 b - {6 _6 Z9 x* f' M- D+ h4 [# ]
- picture.length = UDP_FRAME_LEN;
+ k5 V6 g1 L; y2 I ~9 g3 O - picture.fin = 0;
$ z' _6 |' { f- N - } J5 `8 u: Y+ C
- else: d& P: U; ?2 E! A/ Y) i: r! l
- {
$ S4 G0 g4 B% N. ]4 w0 B2 e5 t - picture.length = fend;
7 Z* z( A+ u H - picture.fin = 1;
0 f6 e" R+ t8 j - }: {$ K' X! R& Z4 h/ b
- //printf("sendbytes = %d \n",sendbytes);2 H9 E1 y* W: m6 U7 r2 l$ [
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);$ \1 e5 q8 H- l3 N. L& I
- if(sendbytes == -1)
4 V) E: i2 V' v/ p' D: o - {# q& e5 `1 {8 N; S
- printf("Send Picture Failed!d\n"); G- Y+ H5 \) y0 ~
- return -1;
( M+ v& |0 a9 x3 k" }8 E$ k1 W - }- d i+ S, U* _- R4 `
- else3 D y* |$ B* B5 |1 C1 U- T
- {2 ~. H) N! [8 B
- fend -= UDP_FRAME_LEN;
5 O* {. q6 f/ t. @7 `( z( w - }* d `3 I2 c# W2 _0 D( s
- }
复制代码 , Q: {# n/ l' v; }) |
4 B3 O9 K/ a" k. ~+ L7 a- j
! Q( i z3 h$ V& ~) \& F7 e$ Z4 ?* o+ A. n
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |