本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
2 q! |- ^3 z$ @/ T( I4 A" [: M, G. ^* P3 D
 - c# {3 L, ~. a, g: P
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html
5 I, z0 }, n* U, G5 ^. t* \7 @3 |! p% B* P
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 Y- @) K: t: B) L9 x0 ~: O' q5 Q w
 / F% e8 w4 o0 A
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。
) k* C7 p d) |9 J一、HTTP网页服务器- Z: d( _0 C0 H+ [8 P
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port). ^* Z$ q8 [$ t, o! R. L
- {, x5 A- x# T4 g
- struct sockaddr_in servaddr;
& @# |" `2 V: L @+ _$ `, X - socklen_t addrsize = sizeof(struct sockaddr);
# V6 h% Q/ T& U. L - bzero(&servaddr , sizeof(servaddr));
, E1 B: ?3 ^4 {1 L7 V - servaddr.sin_family = AF_INET;
) h; q& V0 Q' y6 D - servaddr.sin_addr.s_addr = inet_addr(ip);
) }5 x# \9 [4 D8 A2 D - servaddr.sin_port = htons(port);8 d, H5 R4 e8 F4 d0 ]
- int ret;
x* E, w5 x# K/ g2 e: l) x - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)% a) K6 |, S! I' ?( ?; I. _
- {
* [. T6 F# H+ M+ p6 W9 ?* g - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
, v8 A0 R9 b y" p% @ ]! C( F - return -1;# q. e! T5 d, Z+ ?. D9 x4 [* u, Q
- }
2 ^! F( T( S4 R: I* s- y - int on = 1;8 @% d- y3 U8 {- f6 H# h" \& Y
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
( L( |/ J- e6 o; T: y- L - {
; c5 {- j5 {, t3 w' M+ g - printf("setsockopt error\n");3 |0 j: g7 C& }9 K
- }
' f' Q* F( R* V: ~: u* r - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
: f& R, J0 k; k( q - if(ret == -1)2 P- j: v: e, [% h$ y/ d) T
- {
9 D* s% ] m v6 U0 O# Q - printf("Tcp bind faiLED!\n");
* |4 d9 W6 q4 Q) f1 M. p0 v - return -1;) I5 c n: U, g9 S3 @# m
- }
9 r* s2 y6 c6 n/ U" N4 g* @ - if(listen(*socket_found , 5) == -1)9 Y- I3 J' I9 k% R; P6 a
- {& q5 {/ h8 Q! G& y( ~4 L
- printf("Listen failed!\n");
7 B& |3 k8 o* \/ X- F - return -1;
; h3 d6 q" U3 x9 c Y' i0 I; |/ [ - }
# X5 L) A/ f0 s1 I - return 0;' c9 h" B! t, e; a
- }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);1 s6 P* o" I5 b8 D; w" a" L$ Q
- void * Thread_TCP_Web_Recv(void *arg)
5 R- {$ T- j0 o1 q0 d0 N6 z - {
* U" `- N6 y$ n* B a5 k ` - 。。。
3 _* j6 ~8 I7 h, p - while(1)9 B" y3 _- t% W: \. q9 Z( s
- {
# B) u( h# E* T0 R6 ^: o) s- E5 N - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
# p, K. p: ?% J4 a- u( d5 X - printf("fd_socket_conn = accept()\n");3 Z- H; S ]8 K5 z$ O" P/ S4 F
- 。。。( M. F9 i7 p6 { ~
- recv(fd_socket_conn , recvbuf , 1000 , 0);
- h( u& r2 V, E - }; q6 h9 `& M N9 ~
- 。。。
3 Y% h \; c5 B1 \ - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);
2 [( x2 d, @8 @4 F - pic_tmpbuffer = pic.tmpbuffer;
6 c4 L" J( d: o+ w# S - pic.tmpbytesused = buff.bytesused;: b, y8 w+ r% X1 n+ e z
- pic_tmpbytesused = pic.tmpbytesused;0 ^, o2 B% T" U" g: z& {4 J
- pthread_cond_broadcast(&pct);
! y E ~+ K" y - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
7 \; S/ w' _) o) P7 x7 F b# i - pthread_cond_t pct;9 c& [) X' L/ ]0 h6 q& Z
- int main(int argc, char* argv[]): n3 h/ P3 G% {6 ~5 _ y. N
- {
" c. H+ Y. |$ V+ c1 H) `- ^' G - ... e' y: f3 P8 g! {" s
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
& _: s! E; o# @ - pthread_mutex_init(&pmt , NULL);
$ V/ S/ x# u( u/ _ - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
' d: Z8 n6 V% Q: i+ d7 I( | - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
1 Z+ \) g$ K' h9 j7 v - ...6 U; k& q! U' V v
- while(1)
+ @* n9 ]! ~) L9 @( Q- O - {, W! b9 m `5 k! O
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);5 S3 V8 A/ n' m" S" x% W# w6 c
- ...
; ~$ X7 x+ M( V8 o1 F - }5 k% _4 }) T6 G' a+ r) W
- ...
/ W- b* g- N. c2 {1 J" e - }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">. m' S3 m) d7 W o! k
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
/ t) G; i- R' L8 p - "Server: MJPG-Streamer/0.2\r\n" \) m# I# l7 }2 B0 G* b; y/ s# ^
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
. N9 E( n. \+ i* q! V$ _ - "Pragma: no-cache\r\n" \
& Q8 q5 _* w( Y; j - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"4 P8 L. I3 d) W( F4 [: @1 s0 ^0 Q4 K1 U
- #define BOUNDARY "boundarydonotcross"
$ m, A7 L7 d& G/ D Z" u' y - printf("preparing header\n");3 U+ \+ r( Q) o1 }: d6 \
- sprintf(buffer, "HTTP/1.0 200 OK\r\n" \4 u( o/ C& \! |. ^! A7 a' U' ~
- "Access-Control-Allow-Origin: *\r\n" \9 L6 `; q% C) d- ]: k+ b: k$ ` s
- STD_HEADER \
* E* ~* x; [9 Q3 c( Q - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
H0 m! j3 @; ~" g; Q6 T' @ - "\r\n" \
T! m" S9 ^( K2 q2 Y- J1 z - "--" BOUNDARY "\r\n");
7 ]1 h% | j/ Q& ?, u; b - if(write(fd, buffer, strlen(buffer)) < 0)1 q! W8 I+ l! f! t
- {" {, F7 d! W1 [& O6 j) o1 z H' I/ L
- free(frame);# e: c* T z! a+ C4 W- K6 M
- return;
( c* ~( _, f+ P0 V8 h- W4 e - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
7 m7 Y' r' |* C' ]5 b - "Content-Length: %d\r\n" \2 b* f" t% A" i6 q0 s- _
- "X-Timestamp: %d.%06d\r\n" \" [- Q, \. P2 a
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
& t7 z$ k2 A2 P1 J! T - printf("sending intemdiate header\n");
v* [. j( o* i$ V& C0 z" X& K, W% e - if(write(fd, buffer, strlen(buffer)) < 0)
3 m4 g {2 a# ~( H& x - break;
' q: _8 B/ V; l, i( Y3 P$ X - printf("sending frame\n");( i, G) f5 Q6 Y5 C( `) q2 B0 M( R
- if(write(fd, frame, frame_size) < 0)7 h1 D0 ]$ B" n& B) ?- K" D
- break;% f% g: M9 @7 Y" i8 ]8 @1 ~
- printf("sending boundary\n");$ p2 d! ?. H$ Z1 s3 d2 X( W
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");. }1 ? M }- S3 Q
- if(write(fd, buffer, strlen(buffer)) < 0)( I8 `0 f0 N& f+ T2 D
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。  * z5 v: U+ w$ f1 ~' ]! b
 5 Y# ?3 H6 ?! r$ ^
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:5 |; L7 M, l2 s' k$ Q3 Y( }
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)0 i6 K, `- W5 W- k) T6 R
- {
" e( U9 m& r: R( l! m- K/ ?- w - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);- l* W9 r* I) U+ z
- if(*socket_found == (~0))$ T7 I' Z+ {. X; Y2 _. h
- {! q: H/ y$ E' y
- printf("Create udp send socket failed!\n");
. s. c" Y! Q [' ?; `$ j V) T - return -1;7 ?# g0 U* m: h' w. p
- }
/ ]0 c# w$ ^5 w1 x# S& o - addr->sin_family = AF_INET;
9 V) u1 N3 @+ A3 e' M - addr->sin_addr.s_addr = inet_addr(ip);
1 F+ E- s; X2 ^: { Z7 p - addr->sin_port = htons(port);
6 ]% A( W$ M& ~' I9 I1 Q - memset(addr->sin_zero, 0, 8);
8 p! C2 ]9 ?+ t' p! e - return 0;
$ h) W4 b+ I; H6 } - }
复制代码
: y! t% x: I) Z- k+ Q
5 _7 o3 T% y1 M) O$ O8 l5 t8 E# {: V3 c而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:! k4 {8 I) ]5 e' m9 }% ^
2 Q, e# i9 k7 S$ g$ p8 O
6 P: x* e; Y% f; p- while(fend > 0)) j1 x5 q1 d( T2 C9 D* D: x
- {
t0 j: g; E7 {+ c- X! ]# c: O - memset(picture.data , 0 , sizeof(picture.data));
5 _; C3 M0 g% T ^ - fread(picture.data , UDP_FRAME_LEN , 1, fp);
# `! K% t, ]1 l- { - if(fend >= UDP_FRAME_LEN). g0 \, z9 K; h5 I0 s
- {. A3 T, x/ p, \, `$ [" l
- picture.length = UDP_FRAME_LEN;
: d8 h: D0 ?7 F6 }' `$ ?4 ? - picture.fin = 0;
( @6 i$ Y8 J8 I2 [( ` - }
0 G6 ? Y* B, y1 } - else
2 {* ]9 d# p% q0 Q1 u - {; H8 y7 Z% D9 g; F7 p" V8 n
- picture.length = fend;
& V4 g6 Z% ^* g. s7 Z, k - picture.fin = 1;% D% m: M, R+ g; @9 J4 e
- }' x! d4 [, T7 ]2 L0 m
- //printf("sendbytes = %d \n",sendbytes);+ J6 H# F5 l! y- u
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
; f# ^( B" n. D( m; F - if(sendbytes == -1)
/ p# @' u# v4 ?: {; g! K( }- S - {1 T. N) ?! z7 Y" `; `- f3 @
- printf("Send Picture Failed!d\n");
+ ^: G- Y8 w, q$ d" [- _& s - return -1;' }- q- M$ n& t7 D$ } @# R
- }
, x& ~7 s7 D5 z$ ~( | - else
0 W. T7 U; M& c, W0 H - { K* n. n B- t; f( g
- fend -= UDP_FRAME_LEN;4 Z+ f5 T V$ F( \$ \
- }
B" c- U) F( R- L5 z, | - }
复制代码
4 E+ i! r4 a* O7 n, A* \* {4 Z$ l+ a- N9 Q" k4 x5 b

, `& v: G* s, w0 O0 c9 w& F% F. ]" ?5 q t. b) R6 i
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |