本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
1 j; x1 }5 E. f. o$ b1 b0 j4 R6 @9 `3 b3 ?
 ( T+ q" L9 O% u! f
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html
2 h: a: H5 }/ A7 \: G' i3 N* l$ C1 i3 L4 q/ S
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 ! \9 M" Y, W* l, T3 e

7 I" J* D4 c4 C# L两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 5 Z8 @6 C- m$ B' ]! k. Y! @# m
一、HTTP网页服务器# ]% m$ J) K6 F
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)# h4 p4 O! b7 e# T
- {
# g9 \7 i1 |8 H$ b3 J9 @! c - struct sockaddr_in servaddr;3 O B9 o' {% S3 x$ s2 E0 ]0 d4 C
- socklen_t addrsize = sizeof(struct sockaddr);' D7 w( \, N/ u. V- A' c6 _8 L
- bzero(&servaddr , sizeof(servaddr));$ h: P0 E! E5 r$ x$ {% A
- servaddr.sin_family = AF_INET;
3 Y7 Z' B9 Q6 p1 }! l4 s2 y - servaddr.sin_addr.s_addr = inet_addr(ip);- y: b; |3 ^( F' S# J3 U1 i
- servaddr.sin_port = htons(port);) Q- w# Z/ n& R
- int ret;
( w; c# |4 N N5 ]3 ^, \8 @ - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
9 j7 q1 _7 ?( [ - {+ K4 f7 d8 g6 @3 U5 I' K5 V
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
& k/ a6 y" a* j - return -1;: U- v* P. S* T8 h
- }
! {8 s0 }) z5 ^ ]6 g! k" u' ? - int on = 1;* y+ N- v7 \$ e0 _
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
& s, ]* Y$ O7 ?' R- z - {2 t% k6 Q5 H3 S/ }, n- W
- printf("setsockopt error\n");
" ^2 @( A6 \1 v1 Z3 H; k0 x - }
& Z" P7 s5 ~5 j5 G - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);$ o& p. i H6 k! U3 N: Z
- if(ret == -1)
; q0 s( P; ?% x; c" Z# ~- z+ \ - {9 [' a' M0 B, X; k
- printf("Tcp bind faiLED!\n");
, j w" d4 t( ^ - return -1;* x& Z/ O6 b$ b. e3 f/ f) \/ t/ m
- }% ? n. l$ ?, b& o% F" q
- if(listen(*socket_found , 5) == -1)4 R: X$ T# w6 M$ w7 W" C$ w W
- {# o% K" J3 Q- ^) m' M" W# E
- printf("Listen failed!\n");
9 q! a; D: ]% H& H, B& |1 T0 s - return -1;6 o, E( L: I$ x+ h+ G [9 J+ U! R9 _7 Q& Y
- }
3 Z6 R, ~! O. f+ ^& Z) H2 @4 A# \! y - return 0;
2 c& H4 P$ h; X- V* c e8 \# [" L% I - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);; _, B+ d g+ w7 w7 ^
- void * Thread_TCP_Web_Recv(void *arg)
4 p. ^6 k+ u9 J ? - {" ^7 @4 I# S( c
- 。。。- Z6 h+ j/ M& a! K" O
- while(1)# X0 R7 _+ D9 h
- {$ u! @* R8 s/ Z" M$ e$ Q
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);$ ~/ ~! o$ y* ]/ ]( ?# A
- printf("fd_socket_conn = accept()\n");2 [8 S* {5 J$ ~7 P$ u, ^% T
- 。。。
) T9 v- p$ _4 ` - recv(fd_socket_conn , recvbuf , 1000 , 0);
" H4 i2 W% r/ {, Y! j - }0 o' O' D/ \( ~1 r8 q
- 。。。
) X- ?0 k: J$ C# i - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);2 j+ g* G. e ]/ z
- pic_tmpbuffer = pic.tmpbuffer;3 }5 U* x+ o0 O# W- V+ V5 j6 S
- pic.tmpbytesused = buff.bytesused;2 C! e- T1 B- g4 |
- pic_tmpbytesused = pic.tmpbytesused;
0 k! {. O U R8 I# q- E4 Y - pthread_cond_broadcast(&pct);# n m+ Y$ z# F, ^+ s$ D: C
- pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
0 s9 i7 R! Z) I* h( c - pthread_cond_t pct;
& g/ [0 R% t# E+ y - int main(int argc, char* argv[])0 r& m! }' O+ F8 `: ^0 f, Z
- {
6 @, x; M$ u7 R N1 U' I - ...+ u9 x# K1 S( C. S+ a- x8 d
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);* e; O4 W9 z) p! I% D+ j+ R& i
- pthread_mutex_init(&pmt , NULL);! V6 t q6 l4 r# p, L% G
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
1 k. R- D1 V$ U# q1 c - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);" W1 ?6 @9 k6 t4 t2 K. ^* [
- ...7 Y# Z0 |' |$ U i/ y
- while(1)
9 S( p; }. w" c+ N4 E: O; b6 D - {1 Q: [ [- K" x! h
- V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);8 |6 X- G. X W/ d( X2 Q
- ...
" G t* ^( M0 @, B/ ^1 {) Q) m) j - }
. t8 ?5 t J6 H' Z - ...2 }, b9 h8 |4 S5 Y: N' [
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">/ I9 T( r5 j! {# E6 s* V h
- </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
7 k$ k. E, j5 n4 q5 `* W - "Server: MJPG-Streamer/0.2\r\n" \
- Q/ k$ n7 r! p+ f' M0 X - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
9 P# Q9 P9 ~, a: L m - "Pragma: no-cache\r\n" \- W2 [8 i1 I v4 E
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
+ X+ D+ r+ c4 R+ I% ? - #define BOUNDARY "boundarydonotcross"; B/ I$ r2 N# _& ~. L1 \$ i' t7 h
- printf("preparing header\n");5 O, G6 [! N, ` m
- sprintf(buffer, "HTTP/1.0 200 OK\r\n" \* [* A0 ?. \1 }+ o+ n2 I* o
- "Access-Control-Allow-Origin: *\r\n" \9 Q0 ~# C. {0 I" {" x: J
- STD_HEADER \7 ]9 W$ I+ @( V k/ Z$ a1 }( x
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \/ b+ [7 w. R) q' P* g
- "\r\n" \" l8 U2 d. P- K. [: \
- "--" BOUNDARY "\r\n");
, F" C( a( m$ @4 G9 {% s4 p1 F - if(write(fd, buffer, strlen(buffer)) < 0)
+ r% P. ?, j+ Z+ ]/ G: n - {6 X. h3 D7 S9 N6 ]! e
- free(frame);1 l- X* k1 ~( {6 H) t
- return;1 M- i4 q- N- P/ U( g' K
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
' Q) f, ]4 M, r+ X2 g2 O* I/ p - "Content-Length: %d\r\n" \6 L m& J( {0 P& t8 r, i
- "X-Timestamp: %d.%06d\r\n" \% Z0 O0 U. n6 Y! _4 `6 E6 s
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);4 C: p; J Y4 A' x# }# B+ ^
- printf("sending intemdiate header\n"); j2 k5 l( f; v/ N
- if(write(fd, buffer, strlen(buffer)) < 0)3 R. \: j+ u/ y/ ~3 j0 e6 Q
- break;9 J4 K" K( N" a1 Z3 T$ _
- printf("sending frame\n");& H, R: @1 M( C1 d2 u
- if(write(fd, frame, frame_size) < 0)( r9 G6 g K! |9 x5 U v
- break;
) l$ ~8 z9 x9 T3 [ - printf("sending boundary\n");( f* O0 [' K( z
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");2 ?6 ]$ |, E) X! ^
- if(write(fd, buffer, strlen(buffer)) < 0)! Q1 V. R; I: o" J% O" M+ v% \* x* }/ b9 u
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
, A- D3 s- X8 d; G# H u 1 M! j3 D, B& t" D8 r+ e
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
7 Q5 @! c+ L H: ?0 i- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
. G! i, c* A8 @ - {8 U8 Z H2 _( v7 Z8 C
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
3 f8 I; y' j9 O/ |5 A - if(*socket_found == (~0))8 W' r) J7 b4 o2 l
- {
7 m# v1 v3 I' {8 u" u8 ?4 a - printf("Create udp send socket failed!\n");
* D; m6 q+ R- m$ X5 M: B# c' y - return -1;
' q; r w+ T3 ~' i9 ?; u4 O - }+ e+ K1 k5 w1 |: A* U+ C
- addr->sin_family = AF_INET;
- S0 b4 j7 [4 i5 e0 N - addr->sin_addr.s_addr = inet_addr(ip);$ a$ t) H* T4 m7 S
- addr->sin_port = htons(port);
% i3 c' l7 e. v& w4 l( N - memset(addr->sin_zero, 0, 8);3 f% H" [+ ^0 a' U$ Q5 K; \
- return 0;: `3 Q# s# x+ m4 r5 G& P8 x
- }
复制代码 " z. S+ n5 }5 i# ?2 e9 p
# g! v7 C& a0 l y而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
+ @8 u/ k: T0 J
5 J! n/ ]# ]- c
$ \% z! w4 @& k& q$ l9 ~. |& L) o6 r- while(fend > 0)
/ Z) H, ]& j5 d- w1 S4 B - {
4 W& k( e/ N, \3 [& n: ] - memset(picture.data , 0 , sizeof(picture.data));8 P E1 L/ C; K/ j' O/ V/ x
- fread(picture.data , UDP_FRAME_LEN , 1, fp);5 X. o0 }- w. ~5 Y x7 q$ ]0 w# L
- if(fend >= UDP_FRAME_LEN)
7 D; W9 S4 j* Z6 O' M; Q - {* N' p' h+ t& p
- picture.length = UDP_FRAME_LEN;$ E5 D2 I" E* D7 Z& ?- Y. l, q9 Z, i
- picture.fin = 0;3 t2 j4 c' h2 t( ^9 g% ~
- }
. Z% x1 X5 |8 o; c0 L - else5 J( T6 M$ W! G9 h+ @8 H6 F) i
- {) h! [8 n t( A% l8 r- _& c
- picture.length = fend;) K# q* [& K" m- v- l& {9 f
- picture.fin = 1;
L l. {- h, T$ x& m7 U - }
0 n3 U: n' J7 t% {4 A5 a9 l - //printf("sendbytes = %d \n",sendbytes);
x# ^& Z+ O7 k- @( e - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
" }8 z/ [) F) g7 X - if(sendbytes == -1)
0 T2 k* S" g! V' K! a - {. i2 p3 _% t# I0 h7 h6 q
- printf("Send Picture Failed!d\n");1 h! s* I! p: H+ k( G
- return -1;
8 T# M: O3 A0 p9 e# k& [ - }
7 i- ?7 k1 V% I! e7 d3 E - else
) F1 `/ V$ {/ K* P - {( K0 M2 ?, X7 h. X* T; p' f
- fend -= UDP_FRAME_LEN;
- i& D/ {+ T4 F7 W6 I8 [ - }! t- k" J: s3 P1 ~% Z, H
- }
复制代码
( V: I$ a- y( W7 E: \# d
7 Q6 s) ~& x3 H4 T4 I$ [
. U+ A0 V$ v9 F6 D. G9 E
& I4 K( t6 T2 O N O% tiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |