本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 6 {1 Y: v, {$ `7 M
/ G# ?9 s; o. i. E& k3 D* ^- l8 S

y9 N& N t% w作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html1 l( t* B/ K1 i! F% A
( t7 x1 Q# ~1 H9 J
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 2 d9 E( V" Z3 p3 O; {0 ^7 H- _
 $ {8 K1 ]- u4 u% R$ N, R* ~
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 " C, i5 w' u( U! a5 D
一、HTTP网页服务器
3 s8 v( m# j' T1 \3 d先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
0 t5 g/ Y U0 X; l - {( U* R& [, y) P7 O" D. U1 U
- struct sockaddr_in servaddr;* D- Z2 r; z, r- I7 J: E3 v& k
- socklen_t addrsize = sizeof(struct sockaddr);
$ A9 W0 j4 u! \3 ?( S/ V - bzero(&servaddr , sizeof(servaddr));7 O! a7 J+ G' E/ _$ f1 L
- servaddr.sin_family = AF_INET;) X4 A* R \ R/ q1 Z( \& I5 ]" p
- servaddr.sin_addr.s_addr = inet_addr(ip);9 n+ Z3 [. j8 _0 E1 n2 I
- servaddr.sin_port = htons(port);9 N/ r6 p$ R, \1 B d$ V
- int ret;
1 g- s7 M/ G. j, [ - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
P4 v7 o; C T& T+ c' G& V - {
1 t( _+ ?# Y. ~6 A - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);! ^. {( ^; b2 G1 h* |
- return -1;
; d- H( w$ n% R, l, D - }2 I1 C9 {2 X8 K$ P; @
- int on = 1;
( Z1 n( Q7 ~! U - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
9 B/ |( B1 _5 I. B - {/ | I7 Y; V6 ]9 c
- printf("setsockopt error\n");* |0 |# z: q$ x" c/ a) j6 s
- }# U9 b1 O, a& b% Y5 y
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);9 s$ E3 d) ]% c" b6 n
- if(ret == -1)) H7 W, j) T; t/ ?1 G
- {
1 ~+ L% y# w: |- \" f8 h5 s* c9 b9 X - printf("Tcp bind faiLED!\n");+ Z& p3 P/ e! `& e9 a6 d5 m
- return -1;
7 d4 |! m+ K; L9 h* p3 D! T - }
3 P7 B& H: K' n% h- T - if(listen(*socket_found , 5) == -1)5 y5 k! l% s( ?+ |
- {5 [% A4 S& g' ?: L% N+ I. F# u$ d0 Y* \
- printf("Listen failed!\n");
# p) F* R6 t5 C! c: b1 q - return -1;
6 N8 ]$ F8 C; l" C& _" k - }
3 J* w; r+ N/ I. F8 ^& f - return 0;
0 H& L# k: L& z* V0 }! Q - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
' ?" s- x" Q8 @/ L. D9 B - void * Thread_TCP_Web_Recv(void *arg)8 L/ q$ V6 z% `$ m. V3 t
- {+ ]8 G% p2 V9 M0 a7 L# h; Q
- 。。。
# ~# S. V( `2 p, I/ _" E, ~! u' g - while(1)
% r, N7 R* J' d% e - {, |# {9 `, U9 o5 \! z/ r$ t4 R) }
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);, X& q5 q) {2 s5 o8 G' U
- printf("fd_socket_conn = accept()\n");
! x, y' Q5 N" R! E" N - 。。。7 q4 D* ]; D) }; n, w; \
- recv(fd_socket_conn , recvbuf , 1000 , 0);
6 b1 E! Z. P7 W* g" I - }
8 u# {9 q0 r0 @4 W6 n. q: B3 p - 。。。
/ d+ n _4 h" I9 u' [* m- J - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);; M' `5 Q7 N. H/ T' C
- pic_tmpbuffer = pic.tmpbuffer;( |, m* Y8 t* m4 j3 I
- pic.tmpbytesused = buff.bytesused;8 N, _ I) M: C- \
- pic_tmpbytesused = pic.tmpbytesused;
% t: q# U4 n% B' ^% Y: \! C5 x: { - pthread_cond_broadcast(&pct);
: f4 d6 B* ~8 | - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;0 K6 f) c0 J6 C" p/ J8 R9 _
- pthread_cond_t pct;3 y' P/ u8 p! j5 M @
- int main(int argc, char* argv[])+ u$ p! S) r, w3 J% k% K
- {+ U; }8 I$ N- l' L0 S( c+ U. K" f1 n
- ...5 T7 r5 S! ]+ D. d
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
' ^4 B1 ?% ]/ W- ~+ ?" ? - pthread_mutex_init(&pmt , NULL);
# S0 Y) S, X: L- y% f2 V W - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
/ G( F9 i. j- @4 [7 T - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
H ~: b: J" I* I - ...
& e5 r0 J) W0 V - while(1)# I3 u/ e) y' ?, W2 ]7 y* \
- {! ]9 B c, l& ]& q. I* K
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
: { Y) K: I" o2 m - ...* E& N* j& B @. Y: D; u" J
- }$ v$ S/ n" ]) D4 [' A
- ...! V. S/ [4 ]8 q1 X1 t
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
8 _/ w( H9 _1 S9 l8 g' a( ~ - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \* \/ y/ j. Y7 ?" G8 y: c$ T$ q$ f; a
- "Server: MJPG-Streamer/0.2\r\n" \
4 ~7 t% H3 Z) d* D - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \0 F. `( \- F5 n5 m- W. [( j, S
- "Pragma: no-cache\r\n" \
8 T1 S( v# W9 y6 C/ g& M - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"5 S5 K* ]6 u2 d( g. }: x
- #define BOUNDARY "boundarydonotcross"
: U2 O5 P$ x, Q - printf("preparing header\n");
, Q$ P9 H, i3 c- f9 Q. i/ h1 o - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \; a( I& S6 C) R) c' F5 B" V0 |
- "Access-Control-Allow-Origin: *\r\n" \
1 _& [% u* g- E( H - STD_HEADER \% I/ T/ I8 s" g
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \& O; b7 X5 ?% c% z
- "\r\n" \* G H. i4 ?) P" s4 f9 v
- "--" BOUNDARY "\r\n");
2 h/ ^- K; @/ h! v# B& E - if(write(fd, buffer, strlen(buffer)) < 0)
. U4 s9 B" Q1 E - {& K8 H0 R+ l) M& V6 G0 h, z
- free(frame);: K* J; h Z" ^4 C* m& Z5 J2 L
- return;
% ]0 R% z7 W$ q; O7 ^4 Y/ P! }5 s - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \( p/ K! Y8 F0 ?0 T2 X; v3 F# y: ~; r
- "Content-Length: %d\r\n" \
: Z/ D- Q) V+ t& W8 C/ E: \# F - "X-Timestamp: %d.%06d\r\n" \; P! \3 E$ Z+ p- S2 P1 I, g9 b+ f# Y
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);1 R! d5 X# F$ m
- printf("sending intemdiate header\n");
2 N) ]2 h% m7 H: e+ n) q! _ - if(write(fd, buffer, strlen(buffer)) < 0)
; t3 P# \& g' r/ T+ G$ h- q - break;9 @' ~/ {( j: K
- printf("sending frame\n");
( s6 Z3 E4 Y6 _, k) l1 z7 i - if(write(fd, frame, frame_size) < 0). e# t( t3 p: C, t7 t% k: J
- break;
. a' A* y& N% q1 | - printf("sending boundary\n");$ ^- O, }2 h' f$ O
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");0 f8 q1 H9 a5 S% g$ D' u# W
- if(write(fd, buffer, strlen(buffer)) < 0)0 J/ k/ B1 j* D$ Q" m! ?
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。  6 ?# ~5 W! Z( |0 w! |

3 A: Q/ w8 ^$ X二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
" O; w/ L2 O! L+ V- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)* a; L$ y/ H' h7 P
- {) C% D1 X- \$ z" e, i) T1 s9 G
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);) s$ h* q5 E8 c- t4 N$ w
- if(*socket_found == (~0))* }+ o( n( g; h0 J
- {1 b! v ]1 w3 x O3 H1 \
- printf("Create udp send socket failed!\n");+ ]/ }4 b$ E# l
- return -1;9 G: K" j0 W' V2 S) @# G S w" h
- }
* v0 a6 Z: @. H0 o1 t) f - addr->sin_family = AF_INET;
7 v H$ @: }$ C" ~ - addr->sin_addr.s_addr = inet_addr(ip);
& w" G. ^ T2 y. E# w - addr->sin_port = htons(port);
* ~8 S2 R8 C! Z, [$ U - memset(addr->sin_zero, 0, 8);
6 P6 y1 G( m/ o2 c! q( H: e0 A. q - return 0;0 R9 C, I- t5 W
- }
复制代码
0 U, n% ^" S( U7 Q, c8 t3 A
; g( {" l0 F. y5 |9 x而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:* a& M7 A% e6 [0 d4 Z) j, F: A
. y4 k. m7 C7 F+ r3 i% c! |5 F! S# P4 s* f7 V8 Y
- while(fend > 0)8 m6 X, s) Z: O h
- {( `' f5 ~: H" Q
- memset(picture.data , 0 , sizeof(picture.data));6 U) y1 P2 s! b# x
- fread(picture.data , UDP_FRAME_LEN , 1, fp);
/ [9 W: u+ m( ^6 G* h - if(fend >= UDP_FRAME_LEN)
" e' c4 g" S& Z - {
3 w5 U" Z- J3 l+ i( z - picture.length = UDP_FRAME_LEN;
. N$ A8 a7 u% T, l% l' H% d) g - picture.fin = 0;6 R4 G8 ~- r) o! q# ~0 E0 c
- }
6 U& i" U5 y( T% w - else
. x, _- b* o) e6 _9 ], t: J1 g$ O - {
+ K5 y& l% P0 h+ J% j/ _ - picture.length = fend;
9 H5 _+ a- C1 t0 Z% [ - picture.fin = 1;
! z& l9 d3 T1 n6 g: u Q0 ` - }
/ z# ?4 h" U# K/ A - //printf("sendbytes = %d \n",sendbytes);) n5 e) d& t5 I: u
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);8 ]! {$ _( t9 p
- if(sendbytes == -1)
" ~1 c/ A, K D |! K1 { - { s5 s, B" t/ j4 z+ E+ M7 |0 P
- printf("Send Picture Failed!d\n");2 w3 F$ |* r. u1 E k5 o4 D0 K
- return -1;
1 {) {& x( Y$ Z3 O% ~* ]; J - }
, p4 H0 L* p, p8 _6 V - else
_) J. g3 f' b! P1 @# J& W - {
* v* C; X# u" h0 {$ \8 m0 R' b+ c - fend -= UDP_FRAME_LEN;
( y- C4 [- w" }2 x0 ^. S - }
+ s9 X" f7 {3 O! k5 J/ e( g - }
复制代码 # h- n* U* P0 h! q( o) M+ K
- i1 D" ?( G* t' J y* M7 a6 k" U! J 8 j, H7 S" g7 V S' Q
5 H1 x7 e, [$ V$ A+ ^iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |