模型炼知

流服务搭建

本节主要是部署一个基于Nginx的流服务,并且引入了支持直播模式的第三方模块 http-flv-module

搭建流媒体服务的目的是为了能够支持炼知模型推理实时的摄像头视频,流媒体服务作为媒介,使用 ffmpeg 流媒体处理工具实现推流(推理出来的视频流到nginx流服务器)以及视频格式的转换(支持http协议的flv视频格式)。 最终可以在前端页面分别展示(origin、depth、seg、setect)。

系统环境

Ubuntu 16.04 及以上

准备环境

安装如下软件环境

安装依赖

#下载pcre,编译nginx需要
wget https://sourceforge.net/projects/pcre/files/pcre/8.45/pcre-8.45.tar.bz2
sudo apt-get update
sudo apt-get install libpcre3 libpcre3-dev
sudo apt-get install openssl libssl-dev
# 默认将上述包安装在/opt目录下,那么接下来开始解压并安装
# 解压nginx
tar zxvf nginx-1.21.5.tar.gz
# 解压nginx-http-flv-module
unzip nginx-http-flv-module-master.zip
# 解压pcre
tar xvf pcre-8.45.tar
# 解压openssl
unzip openssl-master.zip
## 安装pcre
cd pcre-8.45
./configure
## 安装nginx并添加http-flv-module,在nginx默认安装在/usr/local/nginx
./configure --add-module=../nginx-http-flv-module-master --with-pcre=../pcre-8.45 --with-openssl=../openssl-master --with-http_ssl_module
make
make install

使用systemctl工具进行管理

#添加使用systemctl工具进行管理
[root@localhost ~]# vim /usr/lib/systemd/system/nginx.service
[Unit]
Description=nginx #描述
After=network.target #描述服务类别
[Service]
Type=forking #后台运行形势
PIDFile =/usr/local/nginx/logs/nginx.pid #PID文件位置
ExecStart=/usr/local/nginx/sbin/nginx #启动服务
ExecReload=/bin/kill -s HUP $MAINPID #根据PID重载配置
ExecStop=/bin/kill -s QUIT $MAINPID #根据PID终止进程
PrivateTmp=true
[Install]
WantedBy=multi-user.target

配置Nginx

# 修改nginx.conf文件
vi /usr/local/nginx/conf/nginx.conf
# 修改后完整配置文件
#user nobody;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
}
rtmp_auto_push on; #表示推流时,媒体流会发布到多个子进程
rtmp_auto_push_reconnect 1s;
rtmp_socket_dir /tmp; # #多个子进程情况下,推流时,最开始只有一个子进程在竞争中接收到数据,然后它再relay给其他子进程,他们之间通过unix domain socket传输数据,这个选项表示unix domain socket的路径
rtmp {
out_queue 8192;
out_cork 8;
max_streams 128; #Nginx能接受的最大的推流数
timeout 150s;
log_interval 5s; #log模块在access.log中记录日志的间隔时间,对调试非常有用
log_size 1m; #log模块用来记录日志的缓冲区大小
server {
listen 1935;
server_name localhost; #用于虚拟主机名完全匹配
application live {
live on; #表示开启了flv直播播放功能
gop_cache on; #打开GOP缓存,减少首屏等待时间
}
application hls{
hls_playlist_length 4s;
hls_fragment 1s;#一个ts 文件的时长1s
live on;
hls on;
hls_path hls;
}
}
}
http {
include mime.types;
default_type application/octet-stream;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
server {
listen 8055;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
root html;
index index.html index.htm;
}
location /live {
flv_live on; #打开HTTP播放FLV直播流功能
chunked_transfer_encoding on; #支持'Transfer-Encoding: chunked'方式回复
add_header 'Access-Control-Allow-Origin' '*'; #添加额外的HTTP头
add_header 'Access-Control-Allow-Credentials' 'true'; #添加额外的HTTP头
}
location /hls{
types {
application/vnd.apple.mpegurl m3u8;
video/mp2t ts;
}
root html;
add_header 'Cache-Control' 'no-cache';
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
# proxy the PHP scripts to Apache listening on 127.0.0.1:80
#
#location ~ \.php$ {
# proxy_pass http://127.0.0.1;
#}
# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
#
#location ~ \.php$ {
# root html;
# fastcgi_pass 127.0.0.1:9000;
# fastcgi_index index.php;
# fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
# include fastcgi_params;
#}
# deny access to .htaccess files, if Apache's document root
# concurs with nginx's one
#
#location ~ /\.ht {
# deny all;
#}
}
# another virtual host using mix of IP-, name-, and port-based configuration
#
#server {
# listen 8000;
# listen somename:8080;
# server_name somename alias another.alias;
# location / {
# root html;
# index index.html index.htm;
# }
#}
# HTTPS server
#
#server {
# listen 443 ssl;
# server_name localhost;
# ssl_certificate cert.pem;
# ssl_certificate_key cert.key;
# ssl_session_cache shared:SSL:1m;
# ssl_session_timeout 5m;
# ssl_ciphers HIGH:!aNULL:!MD5;
# ssl_prefer_server_ciphers on;
# location / {
# root html;
# index index.html index.htm;
# }
#}
}

启动nginx

# 常见的几个nginx命令
● 查看Nginx的版本号:nginx -V
● 启动Nginx:start nginx
● 快速停止或关闭Nginx:nginx -s stop
● 正常停止或关闭Nginx:nginx -s quit
● 配置文件修改重装载命令:nginx -s reload

开始推流

摄像头视频流

  • 推流
note

特殊说明:模型推理服务需要安装 ffmpeg 才能进行推流。

ffmpeg -i 视频流地址 -vcodec libx264 -acodec aac -f flv rtmp://nginx ip:1935/live/1234
note
  1. 视频流地址:如 "rtsp://用户名:密码@ip:端口/Streaming/Channels/101"
  2. 1935:nginx配置文件里配置的rtmp服务端口,默认为1935。
  3. 1234:视频流唯一标识,拉流的时候也是根据这个唯一标识拉取指定的视频流
  • 拉流 http://nginx ip:8055/live?port=1935&app=live&stream=1234
    可以选择使用类似VLC等支持“网络流串”的播放器进行播放。
炼知模型视频流推理结果展示
炼知模型视频流推理结果展示

后端服务配置

通过上面配置就已经搭建好了推理摄像头实时视频所需要的流媒体服务,点击【模型重组】->【查看实时效果】就可以进行视频流推理。但是在此之前还需要作如下相关的配置。

获取摄像头视频列表

因平台暂未提供摄像头视频管理页面,所以需要往 pt_atlas_camera数据库表中手动添加摄像头设备信息。

后端服务配置项

model:
atlas:
url:
# 流服务地址(1935是rtmp默认端口)
rtmp: rtmp://nginx ip:1935/live/
# vms接口地址
vms: http://推理平台ip:8000/api/vms
# 推理服务地址
video-serve: http://推理服务ip:端口/video
# 拉流地址,需要拼接streamId
stream: http://nginx ip:端口/live?port=1935&app=live&stream=