Python Supervisor进程管理介绍(大厂也在用)

要了解Supervisor进程管理需要先了解什么是守护进程。守护进程(daemon)是一类在后台运行的特殊进程，用于执行特定的系统任务。很多守护进程在系统引导的时候启动，并且一直运行直到系统关闭。另一些只在需要的时候才启动，完成任务后就自动结束。守护进程不受任何终端的控制。守护进程包含系统守护进程（syslogd、login、crond、at）、网络守护进程（sendmail、httpd、xinetd）、独立启动的守护进程（httpd、named、xinetd）、被动守护进程（telnet、finger、ktalk）【百度百科】。

Python Supervisor是一个使用Python编程语言写的客户机/服务器系统。它允许用户在UNIX的操作系统上管理进程。Supervisor可以方便的监听、启动、停止、重启一个或多个进程。当一个进程意外KILL掉，Supervisor监听到进程消失后，会自动重启进程，实现了进程的自我恢复。Supervisor也可以让一个进程多进程执行，实现进程的并发处理。例如消息队列的消费进程。

Python Supervisor组件：

supervisord：主进程负责调用启动子程序，响应来自客户端的命令，重新启动崩溃或退出的子进程，记录其子进程stdout和stderr输出，并生成和处理与子进程生命周期中的点对应的“事件”。

supervisorctl：supervisor的命令行客户端。它为supervisord提供了一个类似于shell的接口。从supervisorctl用户可以连接到不同的supervisord进程（一次一个），获取受其控制的子进程的状态，停止和启动子进程，以及获取supervisord运行进程的列表。

Web Server：supervisor可以通过浏览器访问相当于supervisorctl的web用户界面。通过web界面查看和控制流程状态。

XML-RPC Interface：服务于web UI的HTTP服务器提供一个XML-RPC接口，可用于控制主管及其运行的程序。

1、Supervisor运行环境

Python3.4+ 或 Python2.7

2、Supervisor安装

#官方文档
http://supervisord.org/introduction.html

#pip安装
pip install supervisor

3、Supervisor配置

mkdir /etc/supervisor
cd /etc/supervisor
echo_supervisord_conf > supervisord.conf

#supervisord.conf配置内容如下
[unix_http_server]
file=/tmp/supervisor.sock   ; the path to the socket file
[inet_http_server]         ; inet (TCP) server disabled by default
port=127.0.0.1:9001        ; ip_address:port specifier, *:port for all iface
username=admin              ; default is no username (open server)
password=admin               ; default is no password (open server)
[supervisord]
logfile=/tmp/supervisord.log ; main log file; default $CWD/supervisord.log
logfile_maxbytes=50MB        ; max main logfile bytes b4 rotation; default 50MB
logfile_backups=10           ; # of main logfile backups; 0 means none, default 10
loglevel=info                ; log level; default info; others: debug,warn,trace
pidfile=/tmp/supervisord.pid ; supervisord pidfile; default supervisord.pid
nodaemon=false               ; start in foreground if true; default false
silent=false                 ; no logs to stdout if true; default false
minfds=1024                  ; min. avail startup file descriptors; default 1024
minprocs=200                 ; min. avail process descriptors;default 200
user=root		     ; setuid to this UNIX account at startup; recommended if root
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL  for a unix socket
[include]
files = /etc/supervisor/config.d/*.ini

mkdir /etc/supervisor/config.d
cd /etc/supervisor/config.d
vim demo.ini
#demo.ini配置内容如下：
[program:demo]                                    #进程group:进程名称
command=python3 demo.py                           #运行命令语句
process_name=%(program_name)s_%(process_num)02d   #进程名自定义(进程数大于1必须指定process_name)
numprocs=3                                        #启动进程数
directory=/tmp/supervisord                        #进程运行目录
stdout_logfile=/tmp/supervisord/demo.stdout       #进程的标准输出日志    
autostart=true                                    #是否自动启动
autorestart=true                                  #是否自动重启
startsecs=5
priority=1                                        #进程权重。权重越低越先启动越晚关闭
stopasgroup=true
killasgroup=true
redirect_stderr=false        
loglevel=info                                     #日志等级critical, error, warn, info, debug, trace, or blather
stdout_logfile_maxbytes=1MB   
stdout_logfile_backups=10     
stdout_events_enabled=false   
stdout_syslog=false           
stderr_logfile=/tmp/supervisord/demo.stderr       #进程的错误日志
stderr_logfile_maxbytes=1MB   
stderr_logfile_backups=10     
stderr_events_enabled=false   
stderr_syslog=false 

4、Supervisor业务代码(demo.py)

import time
with open('demo.log', 'a', encoding='utf-8') as fileobj:
	fileobj.write('Hello Supervisor!!!\n')
 
#因为业务代码只做了一次写文件操作,Supervisord提示进程执行太快，所以加了sleep(6)。正常业务逻辑下最小要加time.sleep(1)。
time.sleep(6)

5、Supervisor启动

 #启动
 supervisord -c /etc/supervisor/supervisord.conf 
 
 #杀死
 ps aux|grep supervisord.conf|grep -v grep|awk '{print $2}'|xargs kill -9
 
 #帮助
 supervisord -h

6、Supervisor进程管理

#查看所有进程状态
supervisorctl status
执行结果如下：
demo                             STARTING  
demo1:demo1_00                   STARTING  
demo1:demo1_01                   STARTING  
demo1:demo1_02                   STARTING

#停止进程
supervisorctl stop demo
#启动进程
supervisorctl start demo
#重启进程
supervisorctl restart demo

#停止进程组program的所有进程
supervisorctl stop program:
#停止进程组program的demo进程
supervisorctl stop program:demo

#停止所有进程
supervisorctl stop all
#重启所有进程
supervisorctl reload
#重新加载配置文件
supervisorctl update

7、Supervisor进程日志

#supervisord日志
logfile=/tmp/supervisord.log

#supervisor单进程日志
stdout_logfile=/tmp/supervisord/demo.stdout
stderr_logfile=/tmp/supervisord/demo.stderr

#supervisor单进程业务日志
with open('demo.log', 'a', encoding='utf-8') as fileobj:
	fileobj.write('Hello Supervisor!!!\n')
 注：业务日志根据业务日志代码查看

8、Supervisor HTTP管理页面

[inet_http_server]         ; inet (TCP) server disabled by default
port=127.0.0.1:9001        ; ip_address:port specifier, *:port for all iface
username=admin              ; default is no username (open server)
password=admin               ; default is no password (open server)

HTTP访问地址：http://127.0.0.1:9001/

demo1_00、demo1_01、demo1_02为demo1进程的多进程。

大家有什么问题可以发评论沟通。

感谢大家的评论、点赞、分享、关注。。。