本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 9 {; H0 Y' S' }' u3 R+ Q- i8 a
% j5 J, C* J; g1 l# ?
 ) L1 H* t; R) x$ I# u: y
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html8 e. M& p4 P1 Q6 {6 p
8 t d7 z& P3 M) s# M! {; E' r本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。
0 } A2 g! r6 j8 o' n
# M0 x" t4 Y; p; {9 b+ j, N两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。
3 n, ]7 k5 l x3 s: _3 K: {一、HTTP网页服务器4 ^( E. {3 P7 b) w% b8 L+ w
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
- o4 a8 U: X$ C' y* H - {
* e4 \9 k: ?1 v9 B6 l/ D - struct sockaddr_in servaddr;: s+ ^+ \4 x) A
- socklen_t addrsize = sizeof(struct sockaddr);
: Z1 D8 v/ g F2 I - bzero(&servaddr , sizeof(servaddr));
/ Q4 Y5 X$ B& |4 @9 u - servaddr.sin_family = AF_INET;
w1 n6 n' o: Q - servaddr.sin_addr.s_addr = inet_addr(ip);
# Q: I8 @; F Z ?1 k% I - servaddr.sin_port = htons(port);- K5 t j" f/ L7 \
- int ret; I1 n2 j1 \/ `
- IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
% Q7 j# P2 x1 ^" V/ Y - {8 I4 O9 K5 \+ E \* o
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
: x0 f. s" K; N# T U# C0 o1 A - return -1;
! s' X" e6 O2 Y9 W1 } ] - }
: t0 a' e2 q- ?4 R - int on = 1;
8 R$ W6 c& s* z, ^ o/ U - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)' N5 ]: c/ W& f* [# F% W: s
- {
^8 h, r3 h. H1 O; ?/ @8 w - printf("setsockopt error\n");
7 i0 L5 U0 B) O( f - }% Z3 L' k2 Y* Y8 i2 e8 y
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
& ?- G, p, m# d - if(ret == -1)
! j5 N) G+ c6 x8 _* a - {6 j) Y" A# I* R& m
- printf("Tcp bind faiLED!\n");
0 o3 x& p4 o- L8 x% A. w/ v - return -1;1 b# f- p7 V' a0 N& O! L1 f5 e
- }
) Q% M- ~% a) a2 c - if(listen(*socket_found , 5) == -1)
' h6 g( V% ~- C5 ~$ [/ e- V - {3 T: z8 Y$ m1 H: n
- printf("Listen failed!\n");4 ]. q9 j4 R! J
- return -1;- s/ b4 P9 o; Y) m
- }
% g% g M: R+ l) t) ? - return 0;; K2 d1 R- y& u5 ~3 i6 l$ M
- }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
8 H, l3 |( W- V- E n - void * Thread_TCP_Web_Recv(void *arg)% i# i6 |9 @% F: D6 m; E: h
- {
& q+ Q. F) M5 j2 t6 @) W1 j - 。。。
2 L' L- N) Z! A; h - while(1)% e% I# i6 c' R! r5 d; |3 s
- {0 Z0 H5 M! `3 V! p& e$ `3 a
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);( F g# X X# m @; p: N8 M
- printf("fd_socket_conn = accept()\n");9 ]3 }- ]) i8 m8 |- q9 V6 R
- 。。。6 Z8 Z4 F4 K2 F; Y. T2 g! ^
- recv(fd_socket_conn , recvbuf , 1000 , 0);- b- F v$ p: n* y
- }
' x- j4 W9 u% S5 }5 T& m - 。。。
% Z) y) o8 f' S - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);/ ^, s8 N; X9 O( j' D6 }9 u( [3 }6 o
- pic_tmpbuffer = pic.tmpbuffer;+ Q5 D. W7 b: y, E+ R O; S
- pic.tmpbytesused = buff.bytesused;
* s# w+ k+ A' J: T7 n - pic_tmpbytesused = pic.tmpbytesused;( T3 B+ N; C% H) P4 p
- pthread_cond_broadcast(&pct);
( ^0 e: c7 m8 V: |7 T4 o4 A - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;, i) a; d' G3 I0 j* g, u
- pthread_cond_t pct;, i+ n9 y F s, I! d9 C$ b8 Y
- int main(int argc, char* argv[])
+ c, r9 ?$ `# w4 k8 l4 n9 k' P7 z - {
2 P4 u! b( ~9 J) U# D! d0 I - ...
& D5 X4 K# x" K) a! k - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);/ w. ~- L9 t. f
- pthread_mutex_init(&pmt , NULL);6 b9 u% m8 Q; f
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
4 {1 z5 y, A: D& {7 [: j - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
, M/ K, P1 j0 L. Y% Y m" u - ...: g* w; l/ F$ m# y1 s/ Z4 n+ `
- while(1)) {- i1 m' e& r+ N3 ~* _
- {
2 z4 D+ l8 l, P; W5 i, \$ o% x3 _ - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);$ N9 l$ G2 C7 L7 w& l7 l6 |
- ...
+ A5 _6 J) {5 a- C7 K- W! c' r - }
, t1 R9 ?/ R/ s0 b3 V* O2 [7 C a/ `% q - ...1 p3 ~- T, K% z q2 i6 ~6 J- w% R
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
5 p% w( x$ U% P" \# S( l# r. R- g - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \/ C6 J' W& ? W. O9 }
- "Server: MJPG-Streamer/0.2\r\n" \* n$ d+ G( x2 B9 q1 v
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
. Q& E! y! W; q: ^, D9 u. c3 ~ - "Pragma: no-cache\r\n" \
. I3 k+ R/ L' W4 t' I% B - "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"# H9 Z5 V5 u. g S4 L
- #define BOUNDARY "boundarydonotcross") S4 g: q P, O& ~, M
- printf("preparing header\n");
4 d0 u& i, x e+ l& @5 m9 ]& K9 O) p - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
B+ G! E' u! n: Q - "Access-Control-Allow-Origin: *\r\n" \" d/ b& J& t" N$ }
- STD_HEADER \
' }( q( j! A, {& S! t1 F y4 U8 k/ e) N - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
: V, O! j; \+ W - "\r\n" \7 R" V' S# B8 P. t' Y! E) W
- "--" BOUNDARY "\r\n");3 f9 K! j K A5 O% H
- if(write(fd, buffer, strlen(buffer)) < 0)2 N9 p- c4 N: Z& \/ ?
- {/ g& e5 y% t5 h8 N2 d
- free(frame);
' c; r. t% `9 E% V - return;
" q2 U+ x7 `" T" X+ x - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \ _: P' D2 M. F* O
- "Content-Length: %d\r\n" \: z6 ]" }3 |* i5 o/ F
- "X-Timestamp: %d.%06d\r\n" \) [. g& N) a5 T+ L( }1 s, x7 D( S7 y
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);9 U2 J- B2 c. K) ]) w0 \
- printf("sending intemdiate header\n");0 U+ P6 v# G: x: C! J
- if(write(fd, buffer, strlen(buffer)) < 0)& @! k$ Q7 E, i
- break;
* p' [' ?) ]! U; A - printf("sending frame\n");
9 E- X9 l- [ ]1 N p. I. d8 w* a - if(write(fd, frame, frame_size) < 0)
* w+ v, j0 Z4 ]- C' y2 I - break;. _3 G! \( ]( S+ j0 A3 t$ U
- printf("sending boundary\n");
; y& I5 L" u: y! f% n1 c - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
( |, @7 A5 W, Z2 r$ i! Z& R5 @ - if(write(fd, buffer, strlen(buffer)) < 0), B; x9 g& g" S1 I, p
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
7 ]8 T3 s# F I P5 K
! p W Z' s5 C8 j1 ?( Q二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
8 k M( S5 F" m2 {+ y% T7 o- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
* h( \# q0 a- w, ]9 w5 a1 c5 B - {
* T+ }: y( Q4 P# Y( @ - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
/ ^2 U0 ?( |( D5 j- r& o - if(*socket_found == (~0))& f6 q' A) C: P
- {' r! L1 `9 L! o g7 G
- printf("Create udp send socket failed!\n");2 A! Y; ^( X4 `' I: X
- return -1;, L( Q/ N' e1 V$ V) h# l5 \
- }/ `* @& t9 j# U0 u @: d
- addr->sin_family = AF_INET;/ o% a5 ]6 Y( F1 b; t7 x. y
- addr->sin_addr.s_addr = inet_addr(ip);' ^& n# P- T! i6 j
- addr->sin_port = htons(port);
; A) f5 a$ U, L% l$ I' w - memset(addr->sin_zero, 0, 8);( k! l9 u( z5 L3 b6 `2 ?
- return 0;$ S" v' y$ _9 F
- }
复制代码 : c. v0 S+ U# t1 i- ?" I
+ p8 B, S. } E
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:$ K9 A b' M; C7 c
( W, i/ {) |/ c2 v0 w7 `9 ]6 E4 ~. S
! d2 A) j0 s$ I0 t7 |) v/ j- while(fend > 0)6 G+ I# y3 [8 I3 a$ @
- {9 c" G' q0 Y* U4 y' Y, r1 x3 s0 }3 [
- memset(picture.data , 0 , sizeof(picture.data));
+ Z- N. h/ P7 K* F - fread(picture.data , UDP_FRAME_LEN , 1, fp);
5 f4 i4 i! z/ `2 }8 E - if(fend >= UDP_FRAME_LEN)
! z9 z' ^+ e# }0 Z7 ~5 A) N - {
6 s/ P5 x" \# \6 Y - picture.length = UDP_FRAME_LEN;; @" \) }' x8 v) ?8 w
- picture.fin = 0;5 d) H2 [- N5 g, s0 e
- }% z$ X/ i. ]+ p3 G S
- else9 N/ k6 f) d/ Q0 Y
- {+ S) e8 U% t4 g
- picture.length = fend;
$ O/ D. v2 F" F. v2 t* D7 |/ z& l - picture.fin = 1;
$ E; Y% z! U$ |( t - }
& b1 `0 B5 e$ u! K+ |# G - //printf("sendbytes = %d \n",sendbytes);
9 c4 G" d0 ^+ v* v" Z3 d - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
* C1 e( n: E# X4 U, W; W4 S - if(sendbytes == -1)( b0 P! V0 N. l
- {
- [) u. o" I9 @6 h( D - printf("Send Picture Failed!d\n");: v! Y/ ?0 D( D% C( a) Z
- return -1;! C# O6 @" M i9 C% F1 U
- }$ W. c* {2 @" J1 W7 `4 y
- else0 Q/ p7 ^& Y' J' Q# n( v* z
- {' N2 `. m7 N' Z) Y8 y5 G+ d0 g
- fend -= UDP_FRAME_LEN;
2 m, g! j- ~+ _ - }( E6 k5 x6 H6 L% ` P
- }
复制代码
; i0 K; `/ e3 m+ i- \' q# A. ~) V. ^3 k R/ x+ [! T: K+ w
 * I: k4 [! j3 a# \
l# n6 q" T v9 w* p# EiMX8MPlus 核心板: https://www.forlinx.com/product/136.html |