本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 ) @+ N7 n$ v0 q2 y% e- F* W
' u6 M- u8 } m1 s
x3 U6 H& z2 V作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html$ V- E' N# n9 R2 Y
, `* h+ N7 i5 `6 v% U. n
本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。
0 w9 D8 {3 n3 {. W) g% u3 d 5 o9 I: B9 B# {, A8 D$ c+ d2 V% ^
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。 & P7 T( C5 L; n
一、HTTP网页服务器; E. D; h1 j) ^& X
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
0 M1 u1 X; N3 j1 p1 Z; U( b' b - {3 i. S: s3 t% f- W: n, ?
- struct sockaddr_in servaddr;$ ^0 T, r2 |( W( M! H. s
- socklen_t addrsize = sizeof(struct sockaddr);9 M3 P i5 K& ]" O7 Z4 q
- bzero(&servaddr , sizeof(servaddr));
2 v7 v0 s7 N$ N/ i: K1 m6 j - servaddr.sin_family = AF_INET;
" d' c7 X! [% e+ ?% O - servaddr.sin_addr.s_addr = inet_addr(ip);3 m8 f4 |7 \) {( g1 ~# U4 I$ O0 y8 S
- servaddr.sin_port = htons(port);* A/ B A# c, h$ L7 M8 I
- int ret;
3 T- o" S3 B: Y6 g# O/ Z" K4 O - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
8 v- k+ A, V8 ^9 t3 }9 A5 p - {5 ~/ \4 D4 g% w7 c' J
- printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);* E" I+ @9 W2 Y# y( b0 L
- return -1;
( R) p+ _0 w/ G - }# ?% d4 F! y5 e1 M: S+ T! c' H8 [$ v
- int on = 1;
- M, j, Q% i$ \: y2 y( G% O - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
6 x4 @, \! r& S - {4 {7 R: X. B G
- printf("setsockopt error\n");+ T3 }& h/ F4 U& y n% D
- }
5 F4 Z. ^. o" h6 ^2 y# {! [. h - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
! Q0 o: A% C, E- ~: y4 P% j/ S# Z - if(ret == -1)
5 w8 Z7 R% \' E1 z - {
' o* J1 J9 C) h$ i& `7 {5 r - printf("Tcp bind faiLED!\n");$ H' n; ]9 o) v R4 ?! b& r. M
- return -1;
8 D5 I3 l3 g9 G& \& i6 Y( R& S - }6 k9 W' A7 p; h
- if(listen(*socket_found , 5) == -1)
# I5 p d( ?$ }7 t' X; ` - {
) H l* K) b" D - printf("Listen failed!\n");5 v: M6 B! B- k" p
- return -1;
$ N& U% T, _' }7 [2 O% Y' d% i. R - }7 J+ s/ f0 m: d9 h$ b5 P
- return 0;
( ?, y/ H; ?# I: ?+ H, Z - }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);& U! R! ^; a. A# v% Y% D
- void * Thread_TCP_Web_Recv(void *arg)
- `$ s( T+ A0 f0 p( O' e - {! v& g: ` r2 W7 y* b- B
- 。。。
{2 S+ w8 H3 t$ E8 S- N - while(1)
& r" y' i! s7 k; F - {
! c# n0 A f5 i& z$ G - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
+ P0 d W) ?6 r# O- [4 B I) Z5 I! N - printf("fd_socket_conn = accept()\n");6 L: {# w( W6 u* h9 r
- 。。。/ y! Y8 T: W& t7 c. F
- recv(fd_socket_conn , recvbuf , 1000 , 0);
/ F, Y% H) j! F& n0 r; C - }$ ?% V; ^, T5 b+ @$ T$ A- y
- 。。。+ y8 v# _3 j; M
- }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);( {5 N5 ^' j) h8 _1 y
- pic_tmpbuffer = pic.tmpbuffer;3 A$ m2 N5 @6 Z& G. `
- pic.tmpbytesused = buff.bytesused;9 X5 q3 J2 [) p& _/ I+ Y
- pic_tmpbytesused = pic.tmpbytesused;
0 B% X0 z/ S8 p3 y4 R c - pthread_cond_broadcast(&pct);
; r; d1 g& j' y+ k7 c6 w$ i - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;$ `5 `6 U3 {3 v# Q% N
- pthread_cond_t pct;, Y7 a. j( }% { Z C
- int main(int argc, char* argv[])
" g- y. h# W3 L, | - {
* w# S2 V0 M4 J9 f9 l7 l( Q - ...
9 s3 @/ i2 S6 w7 l9 Z, f - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);/ Z$ v% U+ z5 T/ }8 S$ w
- pthread_mutex_init(&pmt , NULL);- O4 x+ K9 H3 y
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);6 B6 Q5 b* p' c" x; D7 |
- pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
3 O, ?9 m3 X1 J2 C4 b2 M/ d - ...
) G1 v$ @; {* h0 ]7 Q& s2 V. E - while(1)
% F+ {5 g O) P, [' h p& c: f - {
1 H& n) p! x- b1 S1 G! h3 X/ X - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);( T4 j) b h: x! z+ e+ ^
- ...+ {7 `6 h1 G7 K5 J# [
- }8 I$ p% ?/ _9 d% `) M5 g- t7 N
- ...1 @4 L& g- F4 G: S2 x8 W) W
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
) i( j8 E8 y! q1 F' z7 Q - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \% x7 y- D0 Y G
- "Server: MJPG-Streamer/0.2\r\n" \4 ]# N `3 v, B+ J$ B
- "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
& }1 a# p* b# s5 t G - "Pragma: no-cache\r\n" \7 K- L* F" m' d) _& F/ u h% ~/ J
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"0 h! r- [1 L! V: G0 q
- #define BOUNDARY "boundarydonotcross"7 i* h+ {" O7 X0 V8 \6 i
- printf("preparing header\n");
: ?* Y8 H5 G1 Q- v - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \: l. J, |/ k4 ~/ x6 [5 ]+ a6 [1 L& B
- "Access-Control-Allow-Origin: *\r\n" \; _7 h# m* Z2 F5 c# Y4 u
- STD_HEADER \
6 ?' Z0 S+ Z- J1 V' v; V6 ~ - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \
8 N/ x! A$ ~0 \- P! Z - "\r\n" \/ A7 e& D$ Q/ y2 U% W
- "--" BOUNDARY "\r\n");
3 h; p' C+ ?) N1 N! `9 N - if(write(fd, buffer, strlen(buffer)) < 0). N6 ?% m/ i( ^/ {+ M1 ?4 z' t
- {
0 y9 K1 B0 Z% P7 }, f - free(frame);
9 w" }# Q8 J( n* V! w& u& G - return;
9 T8 s0 k/ ^! h" V1 y" z0 s - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \4 I) Q) O1 H" @5 {& ]
- "Content-Length: %d\r\n" \/ y; Y! @$ u9 @6 t
- "X-Timestamp: %d.%06d\r\n" \
: C' a% }7 e$ M - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
* ]: u, z) a% v, L7 Y - printf("sending intemdiate header\n");
/ M1 m, R; c0 F i8 X - if(write(fd, buffer, strlen(buffer)) < 0)+ r; q/ Q: U9 d
- break;
6 p# Z( o* H w, H0 {, p - printf("sending frame\n");! C% y( `% s* ]3 S( m* y5 D; E* Y
- if(write(fd, frame, frame_size) < 0)
5 R% H) ?( g5 Y1 [& W" ` - break;. f% g5 v0 v) M/ A
- printf("sending boundary\n");+ ? L9 G" l3 a& p( ?
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");
3 K; ]' x# ~/ J% \% c+ \ r1 A- x! u - if(write(fd, buffer, strlen(buffer)) < 0), F T. k; [4 g! x- o2 p
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
1 y# }% h' t4 P* f; \
; x" Y* t9 R* \/ ^5 k/ B2 j二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
$ B2 }0 i% c3 U# ~$ _+ r& \4 w- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
, v8 o |! Z" l8 n' B4 M - {
6 C; E, \: ?6 O9 ~. _ - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);1 E. P3 R# k3 g5 f+ w4 O" \
- if(*socket_found == (~0))
; M9 }5 x5 P" F2 }) ^) \ - {
5 L6 t; w5 D: t# r - printf("Create udp send socket failed!\n");
; P/ R- X2 g; f2 o: ` - return -1;) G9 p: X9 c- ^* v8 ^: y m% w+ b ?; ], M
- }
4 M6 x3 v0 T/ ?2 Q' { - addr->sin_family = AF_INET;
' w8 R2 }: X# o% A( ^/ w0 d' ? - addr->sin_addr.s_addr = inet_addr(ip);
' J3 K/ r1 P- N q$ n - addr->sin_port = htons(port);
$ A! d" {7 Z# E - memset(addr->sin_zero, 0, 8);
8 \" q0 x) F1 x5 c: D4 }& N - return 0;1 x6 |' S! ~- g7 j! l
- }
复制代码
8 y/ A% a+ J' a- E F
3 x: i8 i$ f' }" z' Q: y" n6 V: s9 j. M而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:7 l3 r( X/ g& u. m
: m$ E7 o& a( V& \+ N8 j$ Y
+ C2 s( J, Y8 X- while(fend > 0)
6 `: G% [* Z. r1 n: h9 ] - {5 ^& J3 t& P. Y; \; L+ t5 @" J
- memset(picture.data , 0 , sizeof(picture.data));
8 I2 @9 i2 U) n" `' u - fread(picture.data , UDP_FRAME_LEN , 1, fp);( P9 R/ E" L9 Y3 i
- if(fend >= UDP_FRAME_LEN)
- Y% I9 F$ w- w7 d4 H - {0 G8 a2 I! Y0 t) w6 p) q% Y
- picture.length = UDP_FRAME_LEN;
9 U. I$ T4 ]* Z% p0 W - picture.fin = 0;0 p. B2 z7 ?* f% w3 v
- }
/ j, j N; F. ?- F" R9 w- h0 h - else
# R' M( t8 U9 u6 z4 P& g - {$ F' F, o$ M, F' G }1 ^! T* t1 M1 s
- picture.length = fend;& O6 _# @/ D8 l
- picture.fin = 1;. W) G n5 s0 H9 \* L
- }
, O! q; _: }% |* a+ N - //printf("sendbytes = %d \n",sendbytes);
* o' R i* ~" z! I# V - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);0 @& v4 m# w' z0 H
- if(sendbytes == -1)# X; @, }( x4 A
- {
- {( A/ Z B. n - printf("Send Picture Failed!d\n");. H' E5 J# [5 D4 d
- return -1;
1 G0 f3 j) X% R8 x3 q( q, T) }. H% o - } j* L$ S' e* Q2 }* |( F
- else$ _( Z6 L, A6 f/ P L+ `" I
- {
3 t1 \& x. f% Y$ D* q; L5 @ - fend -= UDP_FRAME_LEN;: A! E, U7 \4 l, [" F) F t: |
- }" a, T7 o1 |: g+ E) c
- }
复制代码
; w; L# {1 @% ^! k- q: l& M3 Y" O6 {9 ~( m0 c2 J

, J4 |1 r7 ^: H2 u8 S3 P! t3 ~ }4 U& I" k% T* }0 e
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |