本帖最后由 飞凌-marketing 于 2022-1-27 11:00 编辑 : \1 Y0 s) L; ~
2 J! O2 w: i9 O4 y% y/ k + b9 ]* Y+ y- Y7 o; n
作者|donatello1996 来源 | 电子发烧友 题图|飞凌嵌入式 iMX8MPlus 核心板: https://www.forlinx.com/product/136.html2 g5 s$ O5 l; `3 [7 w( a
& _: _; h9 j( i8 G本文采用的硬件板卡为飞凌嵌入式OKMX8MP-C开发板,系统版本Linux5.4.70+Qt5.15.0,主要介绍基于HTTP网页服务器和UDP上位机的MJPG码流传输。 MJPG格式作为一种持续传输的视频码流,在远程监控领域中应用较广,而实现这种远程监控的第三方应用最常见的有两种:浏览器HTTP网页、UDP上位机。 ; ]" L, X1 q: @+ D
 4 s' H0 A. L( D J
两者各有优势,对比鲜明,其中: 这两种应用各有优缺点,对于嵌入式开发者来说,两者都必须掌握。
2 Y* W; C9 z0 }一、HTTP网页服务器' j( v9 I3 ?. U% r
先说下HTTP网页服务器获取MJPG码流的代码,首先是OKMX8MP-C在开发板端建立TCP服务器: - int TCP_Server_Found(socklen_t* socket_found , char* ip , int port)
5 J! W4 N# B# D2 n" k( G) I7 R7 k - {
" n9 d9 N( I: z - struct sockaddr_in servaddr; j5 Y+ r9 f* F6 Y: K* }. I0 R
- socklen_t addrsize = sizeof(struct sockaddr);( ~% ]: T; Q B( T7 \
- bzero(&servaddr , sizeof(servaddr));
/ a( Z4 w% t/ |$ a9 a - servaddr.sin_family = AF_INET;/ I M& s# }+ W, v; z' ^* n
- servaddr.sin_addr.s_addr = inet_addr(ip);
+ ], K6 _; [) _, Q$ D7 y* D - servaddr.sin_port = htons(port);- R7 ]: r( g: {
- int ret;
+ [# J% r9 w7 |1 j - IF( (*socket_found = socket(AF_INET , SOCK_STREAM , 0)) == -1); c& m0 f! @( u
- {
5 x% G5 C. r$ Y# [+ |" X( z - printf("Create socket error: %s (errno :%d)\n",strerror(errno),errno);
# t5 r* I) N& U - return -1;
. A4 s- w1 ~' a2 a - }1 x, i6 a, z- k
- int on = 1;" y) p8 ]/ ^4 {. c) `4 X
- if(setsockopt(*socket_found , SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
7 X7 u& \. h/ P: [4 N - {
# G8 L4 @8 |% w - printf("setsockopt error\n");
" t4 j* P# Q9 d0 j& t - }5 j5 x0 x" u, ^: F. p3 }! `4 W9 |
- ret = bind(*socket_found , (struct sockaddr *)&servaddr , addrsize);: T! E! F' [5 \/ H, B& l2 A
- if(ret == -1)2 w5 }/ U; m' c1 s
- {6 F' W3 [" V- c) z# R
- printf("Tcp bind faiLED!\n");0 f& V/ S: n4 P
- return -1;
+ j0 ^# J4 T0 k# g6 D" Q - }: V) V2 }) t+ c6 t
- if(listen(*socket_found , 5) == -1); [; I% \0 R- h3 T, g& i5 {
- {
3 }( \( \; _' c1 q" g - printf("Listen failed!\n");
5 J4 e" \2 i- l, w( U/ I - return -1;
n6 `: q- z0 X# z9 ] - }
2 x! }" e8 N3 c' W7 A# Y - return 0;4 s7 ?' I2 Q* h# m- h" k
- }
复制代码其中setsockopt()函数是可选的,一般只用于规避socket()函数的建立错误。 建立了TCP服务器后,返回的socklen_t型实参在后面的HTTP网页服务器中需要用到。 HTTP网页服务器所属的TCP操作是需要另起轮询线程来让客户端进行accept()握手操作的,accept()之前的listen()倒是只需要执行一次即可,accept()握手操作和recv()接收操作需要创建一个死循环线程: - pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
7 t2 u: D; {4 v - void * Thread_TCP_Web_Recv(void *arg)
3 _) Y- A; p3 \, ?: Q - {- Z7 d7 j: R2 G' q! J5 }# s
- 。。。# T) v9 J& P! g% q4 J& Z6 [# r/ H
- while(1)6 Y' {. u: M0 k7 b# g5 j+ U$ Z, u
- {
# _" n& w8 H( X$ x) O; `) R- N. V5 ` - fd_socket_conn = accept(socket_web_server , (struct sockaddr *)&sockaddr_in_conn , &addrsize);4 @8 ]: m0 M6 o
- printf("fd_socket_conn = accept()\n");+ M3 \* D' h7 t+ | {
- 。。。
$ Y) x( [ x) V0 r8 w% f. F - recv(fd_socket_conn , recvbuf , 1000 , 0); \* R5 X3 s& o$ `0 ^3 `+ I
- }
! v8 R" i3 v5 h: I0 W S9 Y5 \ - 。。。
% u, l3 S; b1 ~" b% P. U - }
复制代码MJPG帧可以使用Grab操作获取,获取到的MJPG帧需要在TCP线程中读,在Grab操作线程中写,这种被多个线程访问的资源需要加锁防止读写冲突,即资源被Grab操作写入时,需要上锁,不允许其它线程访问,操作完成时需要解锁,允许其它线程访问: - pthread_mutex_lock(&pmt);2 @8 J# n$ ?& f& A$ a7 c3 }
- pic_tmpbuffer = pic.tmpbuffer;
. `% u _. }1 H8 g0 U3 ~- B$ u0 ] - pic.tmpbytesused = buff.bytesused;: w) u1 J7 f; ]8 B
- pic_tmpbytesused = pic.tmpbytesused;/ q+ D5 Q3 V9 K, G8 F& k
- pthread_cond_broadcast(&pct);1 f b+ O# C/ K# D" O
- pthread_mutex_unlock(&pmt);
复制代码线程互斥锁使用之前需要初始化: - pthread_mutex_t pmt;
6 \ [ o3 E8 d8 T( k @5 v5 X - pthread_cond_t pct;
8 l+ t u) T( X. \' S - int main(int argc, char* argv[])
2 R9 K ~, g/ R6 ~5 S8 O/ Q - {
# d Z7 r8 S! ?, u7 y - ...0 j; G2 f6 y) A, t. a3 z
- TCP_Server_Found(&socket_web_server , (char*)argv[2] , PORT_TCP);
' Y. T1 ]3 i! R7 a8 l - pthread_mutex_init(&pmt , NULL);7 J! G5 L: k2 X# j3 v
- pthread_create(&tid_tcp_web_recv , NULL , Thread_TCP_Web_Recv , NULL);
1 \/ g8 W2 I0 x4 p8 W$ ? - pthread_create(&tid_tcp_web_send , NULL , Thread_TCP_Web_Send , NULL);
8 P& `! D3 V* x2 o/ @2 d - ...: I( [, h# ]8 O/ Y
- while(1)
, f+ O. H* }+ [5 t - {
( N1 F# I3 ~. \- h. h; R/ A' h3 w - V4l2_Grab_Mjpeg(false , MJPEG_FILE_NAME);
) w8 x7 ~( P$ h. M' Y( C( K - ...& o- `. K! \6 U5 n* T3 B; L
- }. V# {# v% r7 c8 Z+ d7 c* U
- ...' Y, G" ?1 D5 z0 x9 j
- }
复制代码然后是发送的细节,发送图片文件之前,需要先发送HTTP标准头,这个相当于给发送图片或者其它类型的流数据铺路: - <p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"><span style="text-indent: 32px;">
7 V/ s1 V- N% j& E - </span></p><p style="box-sizing: border-box; border: 0px; vertical-align: baseline; line-height: 26px;"></p>
复制代码- #define STD_HEADER "Connection: close\r\n" \
7 `! S( y0 S0 N! x- F* ^ - "Server: MJPG-Streamer/0.2\r\n" \
( _( l( t! J/ \5 Y% ^; H - "Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0\r\n" \
) W. O5 H. ?. j1 G5 ^% { i - "Pragma: no-cache\r\n" \. Y$ [4 T, g9 g8 {( Y3 H! a: U
- "Expires: Mon, 3 Jan 2000 12:34:56 GMT\r\n"
+ ], ~8 }7 z$ i0 ]5 p/ i8 x) M6 h - #define BOUNDARY "boundarydonotcross"
6 B8 W- d+ p3 o1 q - printf("preparing header\n");
! K# s" [' d0 t9 i& Y - sprintf(buffer, "HTTP/1.0 200 OK\r\n" \0 K3 I$ o) \ X% v
- "Access-Control-Allow-Origin: *\r\n" \
5 n9 o! K# {5 l* T - STD_HEADER \
6 G/ X, n. B3 |, @' w$ h5 o' J - "Content-Type: multipart/x-mixed-replace;boundary=" BOUNDARY "\r\n" \0 ]/ c) v! i0 J0 Z' y* ]# g
- "\r\n" \/ T0 a0 u' `# C. E/ h8 V
- "--" BOUNDARY "\r\n");
; k0 C( \: \. l1 W' q- s% C - if(write(fd, buffer, strlen(buffer)) < 0), o& B( M% [1 T0 N9 k$ R5 z
- {; X5 y& `% b' G: l5 `' o
- free(frame);
* h9 @" D$ J' h% z6 q/ y - return;# W, U" D# t/ O6 q. f# o
- }
复制代码发送完HTTP标准头之后,就需要发送内容头(Content-Type),这处的Content-Type为image/jpeg,同样,HTTP标准协议里面image支持的类型远不止jpeg一种,发送完内容头之后就是正文和boundary结尾,这样帧完整的HTTP头发送到指定的TCP GET地址,就会在浏览器中显示刚刚发送的图片: - <pre class="prettyprint lang-cpp" style="box-sizing: border-box; font-family: Monaco, Menlo, Consolas, "Courier New", monospace; font-size: 16px; white-space: pre-wrap; line-height: 1.38462; color: rgb(51, 51, 51); word-break: break-all; background-color: rgb(245, 245, 245); border: 0px; border-radius: 4px; vertical-align: baseline;"> sprintf(buffer, "Content-Type: image/jpeg\r\n" \
' G5 E. V$ ^9 I- O x3 ]% e& P - "Content-Length: %d\r\n" \) O( _) r; b6 `0 ] r
- "X-Timestamp: %d.%06d\r\n" \5 a' q/ _4 T5 \7 R. x
- "\r\n", frame_size, (int)timestamp.tv_sec, (int)timestamp.tv_usec);, N( s6 z8 R2 {8 s; x8 n6 X
- printf("sending intemdiate header\n");
9 {8 }1 Z% ~8 P: e - if(write(fd, buffer, strlen(buffer)) < 0)
2 w7 j0 \3 g0 M - break;
& ~, {) D; L4 d" L+ C' l s- e - printf("sending frame\n");
9 q+ N. P& g5 V; ?1 m' ^2 Y3 i& ` - if(write(fd, frame, frame_size) < 0)( P( S! z9 Q+ r2 O2 w, x
- break;
* }: H7 P1 J4 ]$ B5 m - printf("sending boundary\n");% q1 P2 [" _9 i$ C4 n
- sprintf(buffer, "\r\n--" BOUNDARY "\r\n");3 B$ Y0 z: |8 P% P# y/ ~& G) }. ?
- if(write(fd, buffer, strlen(buffer)) < 0)
7 w8 _4 ]6 H9 n9 A9 M) p; q' f3 v - break;</pre><p style="box-sizing: border-box; border: 0px; font-size: 16px; vertical-align: baseline; line-height: 26px; color: rgb(51, 51, 51); font-family: " helvetica="" neue",="" helvetica,="" tahoma,="" arial,="" "microsoft="" yahei",="" "hiragino="" sans="" gb",="" "wenquanyi="" micro="" hei",="" sans-serif;"=""></p>
复制代码另外需要说明的是,TCP服务器线程在发送MJPEG流的时候是死循环发送的,因此TCP客户端在发送完GET指令之后,就会收到TCP服务器循环发送的图像缓存,TCP客户端会陷入忙等待状态无法再对外发送任何GET或者POST指令,从客户端使用者角度来看的效果就是网页一直在等待。 
7 K. [9 F* b$ M% J! X" q0 X5 W
) f0 o: D' ~' ^二、UDP上位机UDP发送操作,同样需要先建立UDP Socket:( l( }# S2 c5 ]2 s% m* Z
- int UDP_Send_Found(socklen_t* socket_found , struct sockaddr_in *addr , char* ip , int port)
* R* A/ }" Z, k# W; v& y9 { - {
* { d6 N- [* _6 O+ m1 n5 Z/ e - *socket_found = socket(AF_INET, SOCK_DGRAM, 0);. T, n/ x4 Z; [6 J4 i
- if(*socket_found == (~0))1 D5 g$ P8 N) w @6 L7 L
- {
. F: D- E+ d" @+ n& W3 | - printf("Create udp send socket failed!\n");" g& @# _6 y. Y. |1 N4 g3 ]
- return -1;
p/ X1 ] _; r6 `, I( E- u - }) i& R2 x S% J6 `
- addr->sin_family = AF_INET;7 M. X9 A4 Z- X7 P1 c/ X( G6 X) H+ m
- addr->sin_addr.s_addr = inet_addr(ip);8 X; r d6 ]6 ~& o |% U
- addr->sin_port = htons(port);( ?. B. u2 @9 c; Y" W% ?, c
- memset(addr->sin_zero, 0, 8);
8 |' Q1 G8 N' ~# c - return 0;& X, r6 i, {, s4 e" L/ A
- }
复制代码 0 F8 @6 C: |( H) m: O, h b' F
5 @8 h* ^. C V而UDP文件发送则要比HTTP发送简单得多,只需要将文件切片,每一片为固定长度的UDP帧长度,逐帧发送即可:
& _3 K+ H$ K* G/ O4 R8 n0 r2 J
, M0 T7 E' `) w- while(fend > 0)
3 S! {; a6 h7 r; n1 _' Q: t8 }6 ] - {1 B; ]9 u S( l7 l0 v, o7 e+ |0 a
- memset(picture.data , 0 , sizeof(picture.data));% c1 q2 ^* J* T
- fread(picture.data , UDP_FRAME_LEN , 1, fp);
4 S: c, S+ V% a4 s) {. p - if(fend >= UDP_FRAME_LEN)
+ K- C5 P* t* x7 C - {
, M, p7 \, l$ Z( E# {; W% J - picture.length = UDP_FRAME_LEN;
4 u) f) m& F) H$ T2 y - picture.fin = 0;
+ ]# ]5 j+ B& Q - }
1 M( h) ?+ H9 a$ w7 \2 } - else
0 e0 m. ?- ?3 N! ]5 i! k - {( e4 T( P3 D' V- l
- picture.length = fend;
, D ]: K# y5 Q3 g$ z7 o - picture.fin = 1;( H9 f% C% U& U( t% U$ ?1 }
- }' {/ Z [+ A3 ^% ?" B* c0 ~
- //printf("sendbytes = %d \n",sendbytes);
1 b/ c; j' x) s6 E9 V# O - sendbytes = sendto(socket_send, (char *)&picture, sizeof(struct Package), 0, (struct sockaddr*)&addr,addr_len);
) l; o$ L, A4 P# A! J7 b - if(sendbytes == -1)& U1 [$ P V Y) ~/ O/ u# J
- {
4 {* S8 J# K% r, N - printf("Send Picture Failed!d\n");
7 o4 C7 L( j5 ]( X# R; W# m - return -1;
' @& S, f8 ]" G0 s7 {* P - }0 T% a9 y* _& S+ s) r
- else
9 }: a. C8 S1 Q1 p' ]( F9 m2 ?$ z - {" E1 H9 A4 V4 Y3 T: Y
- fend -= UDP_FRAME_LEN;
" L; s) N. m3 S* n( ? - }' W7 {, W5 T* V$ ]+ ]. v1 `
- }
复制代码
4 `) Q: q# ?* V: h9 V! {2 V0 |! @! D( J- ~5 D' z- a/ P. e4 B
 # |. K5 M B2 Q7 H& p2 _9 W
6 }; U% q8 Y0 X! k; P$ B( y
iMX8MPlus 核心板: https://www.forlinx.com/product/136.html |