本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑
" h" f7 Q6 o% @: N. [6 l8 E+ K9 S: G5 f+ [8 J) q: X5 p

) _4 [% |; f; p8 [0 r* K作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html
2 ^" A2 A/ m8 w! m
! I8 T. L) I8 W本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 + [' z- ^( ~0 f+ K! Z

. Y$ i `& L4 y3 Y% |% j- V两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。
" x5 D: k* t, x2 t+ x( z# I5 i4 j一、HTTP网页服务器; o8 L1 o/ o. S3 u: |3 r
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
/ {- }" |% E* | ?- ?- j# a - {
, S; o& H# T3 g3 H - struct sockaddr_in servaddr;/ v: |% m4 z8 u9 B3 x
- socklen_t addrsize = sizeof(struct sockaddr);
( t* o6 k# p. e4 `9 e3 }8 b - bzero(&servaddr , sizeof(servaddr));1 S5 S5 Q2 s0 ]; `) l7 O2 ~
- servaddr.sin_family = AF_INET;/ y+ P' {0 z' p3 h" @' I$ ]4 X" V
- servaddr.sin_addr.s_addr = inet_addr(ip);
( C/ O2 V% z& K) M; n% O, C - servaddr.sin_port = htons(port);
0 M5 ^0 b/ E Z( s$ n - int ret;
5 E; J4 ~1 I9 `/ r' H9 Q) Z - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)5 c* W5 g) p8 H& j* y. s
- {
2 l8 U# B8 j5 _8 Q7 r - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);6 v y, q# J; x
- return -1;
# J3 C1 O- b" t. |. z - }
2 U+ E% y3 y( A2 Q5 Q. L+ k - int on = 1;) G/ W6 A& B0 E7 K0 P7 s
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
. d$ ^ ?0 m( D - {* u2 Y$ Y* t5 R7 V2 Q2 I5 E
- printf("setsockopt error\n");
. n- G: d7 S1 A9 E6 W8 ^, O1 l - }* n3 N5 F, D& ~' _5 v6 l
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);* h& U# s# L0 F$ }' t# {
- if(ret == -1)
" _; D3 v% i1 {* x# p - {! q2 l1 N+ _( H1 }8 d/ N m
- printf("Tcp bind faiLED!\n");& V( P: V5 {2 m6 @% J5 i/ Z
- return -1;
9 u# T4 c- P0 ~' n - }/ e8 @/ C# e6 H1 g0 n- V* Z
- if(listen(*socket_found , 5) == -1)0 w- B2 |, W$ p, I
- {
4 K: D& o$ L2 `2 m - printf("Listen failed!\n");
$ r, i- k B. f3 D0 E! V - return -1;3 U3 I* F; c; k5 N9 a) U* b- r) j
- }! Q2 {+ j7 e% m* K0 V4 l# s
- return 0;
& F3 `! t" b+ Y) ? - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
* p9 e2 { q W# {8 D3 K1 v - void * Thread_TCP_Web_Recv(void *arg)
P9 z/ t- o" ?8 `4 I8 ~1 ` - {& g& e/ Z: K' i6 x5 o
- 。。。
. K0 [8 g; K! I% G# Z - while(1)4 V$ m9 m5 B+ ]) T1 `' J* U" g/ k
- {
; P' i: h% O6 f2 b% l3 O - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
" ^9 i* m* W# | K& _7 P7 e - printf("fd_socket_conn = accept()\n");
- p, w9 I* q1 U( B1 q - 。。。
4 {; C! n% ^, Z0 _! v: w - recv(fd_socket_conn , recvbuf , 1000 , 0);3 `: p- Y( [; i5 g- F5 I/ L& d
- }8 F. u& b8 ~1 p# H4 U
- 。。。
A" A4 O" j' E) l/ P/ `4 U6 y - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);
8 }9 U9 [! Y& t, r) E7 w - pic_tmpbuffer = pic.tmpbuffer;
3 P- q6 H- B. p N+ h* ?8 C6 G- ? - pic.tmpbytesused = buff.bytesused;
9 S3 s8 \7 F* L- j8 f; T, E - pic_tmpbytesused = pic.tmpbytesused;: l9 `7 V" P( x& G4 W0 V
- pthread_cond_broadcast(&pct);! {! j5 C5 w5 T7 S! P' s) r3 j6 Q
- pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;7 Q0 {9 l) {( E$ e
- pthread_cond_t pct;3 }* f4 {' i. p. \& A6 W
- int main(int argc, char* argv[])1 p6 S, g; v8 }) {
- {& w v! |& N7 x
- ...
% V) k4 K3 {7 B. l2 w% e( z - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
. ?- H& |) y' T' r- W, X - pthread_mutex_init(&pmt , NULL);
0 p. x" l2 }' }1 g9 V - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
# x. d6 G0 N: F8 C2 W - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);- W" d5 |& C" a+ P" @6 X% ?. a
- ...% w8 P# c& W+ m: x
- while(1)
7 S6 r3 ]) H. @( C, ^ - {
; D6 d! V( {' R5 L - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
& f6 t0 `! r+ l# B - ...* R% Z5 x5 Y3 @$ w& v
- }, z2 m& V4 Q7 M5 O, x+ j
- ...
, H! v6 S: z3 q: ]# e, O7 W( a - }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
% h, T$ a- n8 k8 J+ Q - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
2 I: }. q6 r( ?2 B; ^ - "Server: MJPG-Streamer/0.2\r\n" \
$ n' X; u' M' F' | - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \; q! L- o" _4 t. t' ~) j
- "Pragma: no-cache\r\n" \( q& ~- R& t4 L6 n+ Z& q
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"$ m3 p% b. S l `1 {
- #define BOUNDARY "boundarydonotcross"
- t N" p4 [. Y* }$ ~ - printf("preparing header\n");0 ]2 a7 x! L" z, W* x$ y# `% D
- sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
* v" N# L% c# d6 M. l - "Access-Control-Allow-Origin: *\r\n" \' ]( S% i' M# V2 w- P7 P3 }" Z
- STD_HEADER \
: _# v' Y- o6 s4 u% q - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
. r5 D6 \5 ?* ], [& W' O8 D# D - "\r\n" \
. u/ `! e& G* l0 I - "--" BOUNDARY "\r\n");# i* W6 a6 l) ~' A1 H
- if(write(fd, buffer, strlen(buffer)) < 0)
. M9 b8 P ^* E( W" E - {
[3 A/ k6 m# H" u1 a+ S - free(frame);3 J- y% y" t" ~8 X/ {
- return;' s7 J: t$ k: t3 x
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
5 [# [, @& x! [" ?7 A- p - "Content-Length: %d\r\n" \1 T6 H6 U% N9 ]! U8 ^+ C
- "X-Timestamp: %d.%06d\r\n" \
5 p! P, ]4 H2 \* E4 f- d$ j+ \2 q3 ~7 I - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
# V6 ?3 e! T; E3 w - printf("sending intemdiate header\n");+ O* \% n% w/ y* w# W. {
- if(write(fd, buffer, strlen(buffer)) < 0)$ V2 y0 J7 K. H6 o: r7 c1 M
- break;
& F$ [5 ^$ ?( C* @; h - printf("sending frame\n");
; T3 @' k& P# W8 A$ X7 S0 b; ? { - if(write(fd, frame, frame_size) < 0)
, T4 h9 S, _) k9 ?8 F - break;8 |0 [8 M1 k) w. @# \
- printf("sending boundary\n");
% ~: w/ Z9 I, v: j, N0 ~* C - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");! S: ^9 ~6 I0 q7 {; B) i, \
- if(write(fd, buffer, strlen(buffer)) < 0)
! N3 z L6 l# ]2 v5 h - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。  3 w, T% S1 u& \# S; A# k$ C
 q- S e% Q1 _) Z' d- R- d
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
3 O7 n5 Z! J% p& z* d* }9 u6 z- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)1 F( z5 P% v' f: h. d5 x6 V1 M
- {2 w3 c3 |9 g: ? r' b4 E9 p' \: c
- *socket_found = socket(AF_INET, SOCK_DGRAM, 0);
3 W$ F$ V' `) L! F/ g; a - if(*socket_found == (~0))
( R! {7 t+ W* N, r - {0 i8 b& M+ l" S4 [
- printf("Create udp send socket failed!\n");
* r8 F# W, ^9 L; ] v - return -1;6 }# S" v1 B7 }$ |0 W
- }/ v: C! ]. P- l8 k6 r+ h/ ]( J E# p
- addr->sin_family = AF_INET;' c- o7 f3 h. A% {$ R! G2 c
- addr->sin_addr.s_addr = inet_addr(ip);" s$ c5 J I5 u2 J' o
- addr->sin_port = htons(port);
; F O: @1 f9 p - memset(addr->sin_zero, 0, 8);
& p& H$ X; J* c/ B) X - return 0;' |& S) y1 t# O
- }
复制代码 5 }/ z& L+ @7 V
2 j, R6 ~7 ?6 u$ s
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:& m1 n2 i: [ y: m7 r) v- b
0 b' Z! T/ O/ z6 q2 x3 w
" @6 Y. v0 A4 [ ~
- while(fend > 0)
9 W( |& s% Q# _0 n% i; p - {5 B, k, W O! F% ~! ~2 m x* M5 e
- memset(picture.data , 0 , sizeof(picture.data));. V3 T! k2 D9 N F
- fread(picture.data , UDP_FRAME_LEN , 1, fp);* U, N& ~5 s# m% x5 x/ a8 T: n$ D9 w
- if(fend >= UDP_FRAME_LEN)* l- g0 v" d0 _
- {# | o0 ]( Y1 c. N5 Z) q" _
- picture.length = UDP_FRAME_LEN; F; i8 L5 F1 B) i
- picture.fin = 0;- Y7 Q7 L% I' K
- }
9 R* v1 ]% D! I2 \4 N0 C - else
, r; o# L7 n$ N$ L5 I D - {, T6 i; L0 K* o* P A# e, S( t
- picture.length = fend;% c- O% L- L, _
- picture.fin = 1; o* n8 e: } T& Q6 z* `
- }
+ R0 a$ F$ \* @7 D - //printf("sendbytes = %d \n",sendbytes);
) u% u; q" Y+ P' h: `) b/ S - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
2 m& v+ N# l" Y$ f4 r1 d - if(sendbytes == -1)
. g: t9 Y N! f - {
' M- N+ k3 {, L) `3 e3 c+ i { - printf("Send Picture Failed!d\n");( {. t: ^* l$ ]- t/ a7 @: y$ B
- return -1;
, X% |2 J- r, U/ p - }6 n% @% Z; @7 M+ U2 m
- else
" m3 b( D0 d3 `7 p, s% z% m1 J/ m9 [5 p - {9 V8 H7 z- }2 ?; x- B9 d* `
- fend -= UDP_FRAME_LEN;
4 q3 W0 z8 W/ R/ G - }+ X& Y: F2 S1 m, c; J) c% Z0 {
- }
复制代码
2 i+ Z0 j, O) ~; V$ s
0 I0 A( _! \; z' d
9 y3 v6 K& I8 B2 M3 v7 z; c& R4 l, }' C
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |