本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 & F, [) P) L l2 h8 q. j+ O* f
' _- y- y! b" \ V* h2 w 3 @( p e7 A9 g% P; F
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html7 G7 j0 Y3 |& ] n" U$ j
4 {$ C% a& {2 m2 i本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 $ h; E$ S$ d( B; W$ j
 7 X: O* p: @& a5 M0 r
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。
2 F" v! O! @1 U9 d一、HTTP网页服务器* s, i7 w6 v/ y g1 s+ }
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
7 D1 r L. e% U" g' ~ - {
& p& f* `- z3 u% {; o- Y' U6 F - struct sockaddr_in servaddr;
( V' A y) F7 o7 ^* j+ F - socklen_t addrsize = sizeof(struct sockaddr);" P% ~# @2 z& l9 Q% K" q, b
- bzero(&servaddr , sizeof(servaddr));
1 r. }' x5 i& J; B - servaddr.sin_family = AF_INET; d8 q5 C; S$ T! }( n
- servaddr.sin_addr.s_addr = inet_addr(ip);& G2 n3 w2 d' a$ q
- servaddr.sin_port = htons(port);% q2 X' K; F* b4 x- L ~8 w
- int ret;
0 g! m2 q) ^- v - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1)
" G! n7 V" O3 c5 L8 M+ k3 Y3 S - {
- v+ {2 \9 y3 P+ { - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);3 s0 j7 F) Q6 }$ p9 F& N- C% i% ?7 G
- return -1;6 n( Q* z! m# w
- }
4 k8 J6 E- g# Z8 s: P - int on = 1;
+ P, O) I+ D! j+ K/ n8 p - if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)/ F' y s; F: l
- {
9 k/ j& a$ O2 j; e- t* h* K - printf("setsockopt error\n");
& B2 C2 E; @7 a - }
5 G3 n) R$ \ `3 W9 r - ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);
; O6 I) f, X. b) S8 }" H* O, e - if(ret == -1)7 O6 K* T& c8 Q [
- {0 J9 g' S i( ?; } ~# K+ I; S
- printf("Tcp bind faiLED!\n");; t5 G R7 p/ z3 `9 a
- return -1; @9 K+ d7 S/ Y* y& |$ {; S3 W; q
- }
4 {* b5 C ^# w, `3 o - if(listen(*socket_found , 5) == -1)
; \# I: R! f4 W - {
! T0 V' T4 v5 ?0 e' s6 } - printf("Listen failed!\n");7 e3 ?; W- u7 C" I2 C: h4 E9 N) q+ G
- return -1;% T/ e# ?( r ` _2 K5 s
- }4 n; {2 m% ? u
- return 0;: ]. t) s6 w. X. o3 {
- }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);7 V7 q8 N& u7 ? y: l9 [7 ]( E
- void * Thread_TCP_Web_Recv(void *arg); k2 a* m. O$ }- M8 U
- {2 p* X$ _ a7 O' r
- 。。。7 S$ m4 I9 h; q
- while(1): @( d1 |1 }7 C/ N. H/ }, p2 u; W
- {% @/ D' Z E/ g* ^
- fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);
! p. J6 @% u3 ^; D2 G9 _' d - printf("fd_socket_conn = accept()\n");
) D7 x O- M* a, o0 t; f; } - 。。。
. }+ n! J6 V. r2 ~# G. o% ? - recv(fd_socket_conn , recvbuf , 1000 , 0);$ b( L5 Z+ ]$ V! ~5 j) K3 k5 Z
- }9 S8 g! p% i. J0 X+ }
- 。。。
8 A2 J! q O5 v- H7 l - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);4 t" _. a a1 z8 |; |% q
- pic_tmpbuffer = pic.tmpbuffer;7 q8 [3 m4 ^- l
- pic.tmpbytesused = buff.bytesused;
1 Y3 B* J4 g$ t% P& u% v9 i - pic_tmpbytesused = pic.tmpbytesused;7 d6 m f* P4 u6 L o* J
- pthread_cond_broadcast(&pct);
# u: o' T4 @3 p - pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;( b& s. e K* [; B
- pthread_cond_t pct;
4 s5 _$ Y s# j1 K w+ C9 i - int main(int argc, char* argv[])# D6 E6 n/ J, z
- {
8 P5 ^( {# ^9 d- R4 P [ - ...
& Y- R" y9 Y" | S8 o/ _ - TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
, k3 p q9 b% |; I% O# M# {. e9 j - pthread_mutex_init(&pmt , NULL);+ R5 i8 }& }8 ~2 |
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
# N3 I5 ]) X* r+ ~' X. F% H - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
/ B# Q. b' W/ h. F% i# z. e, L2 H - ..., m4 E8 u* {- y% H* b" f
- while(1)& t( G, K; ^8 e- j( v/ C
- {
% `4 ^* W6 e) ~. g& B f: @2 a# d4 y - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
) W$ x; L' X/ r1 ?& [ - ...
! W4 v) `* a8 g& y1 L* r - }; h/ h$ Y M& `4 c; i- Q
- ...- d7 j4 x$ l8 `9 f; G- J4 k
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
# D- `" G$ A9 e+ S' Z - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \. N K( H( S) U0 k7 V0 R
- "Server: MJPG-Streamer/0.2\r\n" \
. |. X3 ?5 g* W5 p2 o4 Q1 S7 y0 n - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \( W+ Z v) J% u; ?' }
- "Pragma: no-cache\r\n" \! z' r, X! ?1 v- D6 K# R
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"9 M% K1 D4 y5 C2 `. x2 A6 ^
- #define BOUNDARY "boundarydonotcross"
) `8 w! b; l" M - printf("preparing header\n");
) ]9 H/ d' ?( { - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \
" R9 O: U8 X! L/ M9 A - "Access-Control-Allow-Origin: *\r\n" \ m; H* O7 T1 w7 T2 D7 {; @5 N
- STD_HEADER \2 d4 E$ x {# Q) y) H
- "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \! T+ e7 G- b, h7 {# p( }. f
- "\r\n" \
4 r# v2 ?% \- b; h - "--" BOUNDARY "\r\n");
3 A# @8 H" ~0 u: B - if(write(fd, buffer, strlen(buffer)) < 0)- Q. I: X2 J9 n* h9 U( ~
- {
8 k) _0 m7 A2 m; q2 O - free(frame);: M5 a- @, w* ]% g" _
- return;
& u- `3 `# V6 F, J" ~! D - }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \; Q6 y4 {0 O8 B$ G" n: @
- "Content-Length: %d\r\n" \' O5 o: g, X) g0 q
- "X-Timestamp: %d.%06d\r\n" \
2 w5 D; z' _8 ?& r - "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);
2 Z; L& l$ ~; Y8 C a" U B( } - printf("sending intemdiate header\n");
8 [: k3 a" j( M& z3 k& \/ Q - if(write(fd, buffer, strlen(buffer)) < 0)' L2 a" y% c, ]' t' U' V
- break;5 w- F( o' F, d- T+ N8 t# [0 w$ y1 ]
- printf("sending frame\n");
& w* p! @% X! F j& t - if(write(fd, frame, frame_size) < 0)" ?5 r$ Y: L/ Q8 K. A' q, v
- break;
9 Q6 ~4 s& b# C/ } - printf("sending boundary\n");
- T4 L. b9 x0 f. i/ X6 w# I - sprintf(buffer, "\r\n--" BOUNDARY "\r\n");8 {. H# u& e3 \2 p- N+ q
- if(write(fd, buffer, strlen(buffer)) < 0)+ v" k- D" _2 H- r
- break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。  6 N8 k% H0 e7 {
 ) W& g! T( R* Z; _4 u" B* S8 ]
二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:
8 U# ?2 d7 h7 `- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
) t) @) q) Q- t' } - {
@6 L. e. J( c3 [ T& \# f2 z( S - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);: I% A* L# K1 d3 p" Z) _* p
- if(*socket_found == (~0))* L8 Q" S Z, I& W+ ]+ G
- {
+ X) r" I3 Q9 u" K - printf("Create udp send socket failed!\n");& Y9 K1 C" P. Y4 b, x: ?
- return -1;+ w2 ]. Q7 |2 p; |$ F/ O
- }
9 [* K a3 y1 a; C7 s* u0 b - addr->sin_family = AF_INET;
P6 r! Z1 S5 O, \" A; e - addr->sin_addr.s_addr = inet_addr(ip);3 v! O- ^# L+ y+ w# Z5 I
- addr->sin_port = htons(port);) }0 d5 b" Y! s4 i! X
- memset(addr->sin_zero, 0, 8);
% s# h! u$ \. U - return 0;- J, h" f7 q, }$ ~
- }
复制代码
& ~/ b& m9 i5 q$ \, m3 t6 m- p2 `7 b s( B
而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
: ^+ p2 j+ y. D
: h' k* m+ X7 H, L+ y, M" g
, q; s( A: G* C& J J7 h' ?* a- while(fend > 0)
' B W6 p/ `# \6 z' o7 X - {
) n( @1 ]* y' m" m7 ~( O - memset(picture.data , 0 , sizeof(picture.data));
% J' ?8 W: a% ~. P - fread(picture.data , UDP_FRAME_LEN , 1, fp);
& \6 [0 w( I, N% Q) v - if(fend >= UDP_FRAME_LEN)0 D, M$ h1 s) ~8 B' O
- {
$ z/ \# P6 p& C8 [! B: R: d - picture.length = UDP_FRAME_LEN;& o$ O e) B# J" k$ [4 p1 b. n
- picture.fin = 0;
- k/ K- F) }# g* }4 q. W5 m - } {( F% i6 Y+ |/ {) a
- else
; R( m9 e) |% N! V3 o$ \8 @ - {- f8 j/ a3 \ J+ c/ s. G
- picture.length = fend;0 b6 E. i5 _/ j6 Z: z! M- [
- picture.fin = 1;
0 u/ L* v! ? p* r: H. b- c - }
! } c3 t3 A. u4 d9 Y# d - //printf("sendbytes = %d \n",sendbytes);" V! e! x, q1 L8 |# G/ C$ S& O# W1 L. W- s
- sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
) k! I! X, G' h8 r - if(sendbytes == -1)1 m) r6 q1 J! h% I9 ?: q9 }5 P
- {
4 {# m# Z6 e3 e6 K - printf("Send Picture Failed!d\n");
1 ~8 l' V# y2 s, d7 |! e- u: ` - return -1;6 Y# n" g. G5 y: b6 y. ^3 T/ O* J
- }
" d: g7 N8 Z% K6 n7 K/ G - else# ~% ^/ T9 T6 S" E8 q& T5 Q
- {: e) W, R7 u# o! D4 S+ n# d
- fend -= UDP_FRAME_LEN;1 T! m4 f m$ x& U: K6 S
- }' V& ~+ x) U! S- t% N
- }
复制代码
& _0 Q6 A( z u2 ?) f
( j5 j, s# H! i3 D. r& P
( p6 F3 [4 O/ |( M
$ C f2 t8 @" p, s" K* ziMX8MPlus 核心板: https://www.forlinx.com/product/136.html |