本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 " G+ A3 q4 ^% o0 q! f! `
. S& x* U, Z) [& j7 Q5 Y; ^
 ( e- N" ?5 e6 M
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html1 p4 f- Z# a: d4 H& O
% k/ A" i0 i0 D8 \5 V8 I2 f
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 1 ~- q- u1 P8 y4 B) P
 " P8 Z# W7 w( E, |4 Z4 _( b3 Q
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 4 o4 t, [: Y$ }- ^
一、HTTP网页服务器- m' Y2 p3 V4 p- M) J Y4 ?
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)3 ~+ ]+ ~6 z( r( g
- {
2 M5 q+ J) D; p - struct sockaddr_in servaddr;1 m3 D3 C0 U0 Z' l; [4 h
- socklen_t addrsize = sizeof(struct sockaddr);
( u# E2 w% ?; ^$ G1 h0 k4 C4 G' T - bzero(&servaddr , sizeof(servaddr));
0 V# V# L$ G @6 ?' _ O% O - servaddr.sin_family = AF_INET;" B) d: e- {8 u/ r1 V& s2 t
- servaddr.sin_addr.s_addr = inet_addr(ip);/ u9 _4 I# B$ y
- servaddr.sin_port = htons(port);
+ |8 F7 y* `0 b* v- K2 e; k& l - int ret;
# |1 y8 E6 {. y* \$ k - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)- p- J& H+ W% t8 h
- {
" P2 Q6 G9 H! L8 A: G( g( P* Y {; s - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);5 @) X" P; r! v5 z8 `
- return -1;
8 c6 h; v3 G& f5 V/ {, x- d - }0 s8 B3 J6 A6 E& p# V, G
- int on = 1;
( g9 s9 m4 s. \5 r. e& C4 s - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)! e$ S& h3 O, K; ~
- {
1 l+ `6 U( @3 b+ W1 m3 O/ J6 w - printf("setsockopt error\n");8 l5 D) S6 k& Z1 Z
- }( Q. d" s' ^! w/ C7 g' @# x0 u2 `
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);; C/ E+ W9 T4 M5 c; M7 k
- if(ret == -1)# E5 C n J* P+ [
- {
3 G ` p+ B' W" O* F6 W' } - printf("Tcp bind faiLED!\n");
' e0 \- [- P {: ]' X9 ~, a - return -1;
7 U8 F( M) N7 f3 `. y% d - }
2 P( I: c2 ?! u; _2 R - if(listen(*socket_found , 5) == -1): S9 P% b1 O& G0 [0 \
- {
^1 P! O2 w# \( h' R - printf("Listen failed!\n");' Z) a/ M3 ^! }7 v* M l
- return -1;
9 m, ]2 F" `$ z$ y0 ^ - }( N, h4 Z9 x; M
- return 0;
2 u. d. z( u& b6 a/ ^0 l5 `* g! M - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
" d8 y, s( b+ i9 K5 T - void * Thread_TCP_Web_Recv(void *arg)
! K; g( m5 y" G# ^ - {/ ]9 J# @2 t7 W- f6 G+ H3 G
- 。。。$ V2 w6 L6 o r! ?2 v% n4 `
- while(1)) F/ ~2 A, E( E
- {
S* F% ]1 V l2 N) D3 {! L2 \* S - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);: a$ l% O; C( X* j: E J5 m; F
- printf("fd_socket_conn = accept()\n");. w9 \9 O. ?- ]! l" a
- 。。。) B3 v% I! |, m4 d2 {# T- ^: L+ m
- recv(fd_socket_conn , recvbuf , 1000 , 0);
. W! Y) s) i* I! G - }
% V9 p0 q+ K* e - 。。。/ Q s3 S' |1 v# K
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);* Z" |4 ?6 w' u1 c- B
- pic_tmpbuffer = pic.tmpbuffer;
9 H& d8 |! A: ]/ Z) P9 t - pic.tmpbytesused = buff.bytesused;
! d4 g' |; W, U! h% Z, ] - pic_tmpbytesused = pic.tmpbytesused;
% n" [7 q& W0 [7 U8 S( H - pthread_cond_broadcast(&pct);
% K* |. Q2 D1 X7 Z- w* @. I - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;7 H- F8 \0 G7 C! A z M$ I/ |
- pthread_cond_t pct;% w l$ M% ?; ]
- int main(int argc, char* argv[])7 F3 r2 U `. E& k6 {
- {6 q+ M/ E) F+ \/ B
- ...
7 z1 b, L8 O2 I! b: E6 m: x - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);0 H+ c& Q/ R5 \# v0 s& ~+ _: U+ q
- pthread_mutex_init(&pmt , NULL);, P( h. x) X$ I) F! U
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);4 Q% w3 i7 ~: W# p+ s
- pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);3 \) V" I) x2 v; @( y q
- ...) A+ [( S; V7 m$ t; Z N( }3 h
- while(1)
3 |$ x$ m5 k# e; T$ K$ G8 ~ - {) L3 P/ `0 M) o% C. k( C
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
$ e3 R2 ^3 g& u! |' c/ r - ...
6 J3 E7 i; m( A7 G - }( g Q! N3 h. K8 Z
- ...8 x% p; q& O1 Z3 ]
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">5 S' S( X: C. E8 g' g) c: `( C) X
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
8 A0 N' L8 d& U) u+ T - "Server: MJPG-Streamer/0.2\r\n" \, [6 h9 p9 O: }
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \9 s8 P, k, \8 R5 l* z8 K
- "Pragma: no-cache\r\n" \+ ~% Q9 ]7 S$ ]0 r; O9 M7 v
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"5 H, i6 {. h# B2 k' d
- #define BOUNDARY "boundarydonotcross"( W6 G* V, s' x% a
- printf("preparing header\n");2 o3 a; \) i% i, a, e( w
- sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
g' k2 m3 k0 k, k - "Access-Control-Allow-Origin: *\r\n" \
2 L7 z. u7 x( C+ b - STD_HEADER \
7 N3 R) C9 Z! q9 K+ |* | - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \' K3 @ }# }- e F' _% M1 }, F: ^5 F+ Q+ P
- "\r\n" \
g! e: ^) C* S: n - "--" BOUNDARY "\r\n");! Y- T9 e4 J% B+ \: G
- if(write(fd, buffer, strlen(buffer)) < 0)
- z# Q1 ]2 {& x0 V( n' W# N - {
0 b' {) l$ d) ~. U. L - free(frame);* _# q1 Y& k8 ~2 K# @4 S
- return;" ]1 ? z I! o
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \7 k+ c2 A+ A7 }6 d3 D! G0 H
- "Content-Length: %d\r\n" \
) ~5 N! {3 m9 C* F( P* a/ t8 v - "X-Timestamp: %d.%06d\r\n" \5 [0 U7 e# b( |: V" I: `$ o- V
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
8 f$ P. ~! \- T8 n8 h) W, w - printf("sending intemdiate header\n");
) K; A& O, U6 L$ c3 |! L - if(write(fd, buffer, strlen(buffer)) < 0)) m- k) p& H+ f4 ~% r5 }* V
- break;
+ t; X7 H$ U1 {2 a - printf("sending frame\n");
# e+ k' y* D9 A" F5 y - if(write(fd, frame, frame_size) < 0)
" e6 O/ C8 ~& Z7 N' q9 X, g, ~1 |' P - break;5 _/ B+ L2 B/ E( M" e' J o6 n' n
- printf("sending boundary\n");# _3 b2 B& z* g
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
- ~' d7 B [& H/ ?2 J - if(write(fd, buffer, strlen(buffer)) < 0)
* B; b+ U; w3 w0 B% O: H - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。  % u0 n! E. {/ |; Q7 O
 ! l. y- ?+ R: s. K T2 O
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:) L6 h8 C6 `+ n2 O0 M1 i. Z' s
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
2 K8 Y8 ^$ v' U' c5 z( D - {% r8 ~1 p1 ]- B& Y4 l
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);9 T2 f* Y+ e6 X E* S3 m
- if(*socket_found == (~0))
. n8 S. k" i$ @8 ?9 z - {
+ _( ~1 {9 K4 W! v - printf("Create udp send socket failed!\n");* l* ^( S, u" j3 L- @' S( P
- return -1;+ x) a# y( {9 t/ A1 E; }" e
- }9 Z5 I6 ?9 K' B c3 \2 O& U: f
- addr->sin_family = AF_INET;8 D# p6 g) O0 h$ Q* u+ m+ ?& h8 x
- addr->sin_addr.s_addr = inet_addr(ip);2 x, K6 Y$ } k, t7 W g, e
- addr->sin_port = htons(port);1 I& x1 o& E* X% q# F$ m$ ?
- memset(addr->sin_zero, 0, 8);
; m" }) o& w- b/ F4 y" _ - return 0;1 N2 c: l) g, K. I& c# _
- }
复制代码 ) P/ f& | n% b: z9 e' A
, ]/ G* Y7 `% d! S4 u) ^9 `( K5 ^
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
/ b- H" q) G/ |
$ l6 x4 D" X+ H, W& t5 y' [3 {; t) v& d8 y" g5 m; ~) F$ T
- while(fend > 0)
3 ?: ^) A7 E9 x; H - {
0 b5 Z* m; T, x" ` W* h - memset(picture.data , 0 , sizeof(picture.data));& M! H U# H* S* ?, @$ A
- fread(picture.data , UDP_FRAME_LEN , 1, fp);
8 W* h2 J5 x/ V" }9 @* o7 o - if(fend >= UDP_FRAME_LEN)
$ J8 Z5 p3 M7 S1 ~+ e- m- f - {$ ^8 t; M9 `$ q7 O9 W' y
- picture.length = UDP_FRAME_LEN;) u1 x7 p- P( Y7 {
- picture.fin = 0;
4 Y8 y2 H" F% r - }% x5 j. o" n$ r, Y3 H! r
- else
5 _5 G/ s; F8 m: `2 |0 K: J* ?' @1 T - {
( V( Y* @ o" r6 J& } - picture.length = fend;
6 N0 [% n' ?- G+ I/ R - picture.fin = 1;9 V& k6 ]5 p) ~ E& m1 v
- }0 z+ l6 k# p. I0 _
- //printf("sendbytes = %d \n",sendbytes);
$ A6 l7 O7 K. d/ F! o' Z9 j8 E( @7 `6 G - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);/ ] e( |" B9 Z7 h( S6 \
- if(sendbytes == -1)
: m. d8 I% n7 g' J G; O - {/ ]5 S$ k7 l: N0 W; C, w! v1 H, h
- printf("Send Picture Failed!d\n");
/ f/ `- u/ K# D) e0 \ - return -1;+ I: P' y6 z9 m" W. M9 v
- }
4 n7 A; R! q; U. O0 { ` - else: f3 D" h, j/ {- Y! G9 g
- {
! a7 E0 L/ k+ a5 G - fend -= UDP_FRAME_LEN;0 p& K e, o' h& U. F
- }( |0 J' G$ n5 S0 `* ]) p
- }
复制代码
# q2 _# C7 o) Y6 k0 h. s$ |9 w$ v: R. o

9 @* S0 s. L! a& Q; ]
6 [! L) `0 R1 GiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |