百度360必应搜狗淘宝本站头条
mysql distinctjenkins官网mysql 子查询vba splitpython list sort
当前位置：网站首页 > IT技术 > 正文

python之多线程并发（python多线程并发执行）

wptr33 2025-05-11 01:43 10 浏览

前言

今天呢笔者想和大家来聊聊python多线程的并发，废话就不多说了咱们直接进入主题哟。

一、线程执行

python的内置模块提供了两个内置模块：thread和threading，thread是源生模块，threading是扩展模块，在thread的基础上进行了封装及改进。所以只需要使用threading这个模块就能完成并发的测试

实例

创建并启动一个单线程

import threading


def myTestFunc():
    print("我是一个函数")

t = threading.Thread(target=myTestFunc)  # 创建一个线程
t.start()  # 启动线程

执行结果

C:\Python36\python.exe D:/MyThreading/myThread.py
我是一个线程函数

Process finished with exit code 0

其实单线程的执行结果和单独执行某一个或者某一组函数结果是一样的，区别只在于用线程的方式执行函数，而线程是可以同时执行多个的，函数是不可以同时执行的。

二、多线程执行

上面介绍了单线程如何使用，多线程只需要通过循环创建多个线程，并循环启动线程执行就可以了

实例

import threading
from datetime import datetime


def thread_func():  # 线程函数
    print('我是一个线程函数', datetime.now())


def many_thread():
    threads = []
    for _ in range(10):  # 循环创建10个线程
        t = threading.Thread(target=thread_func)
        threads.append(t)
    for t in threads:  # 循环启动10个线程
        t.start()


if __name__ == '__main__':
    many_thread()

执行结果

C:\Python36\python.exe D:/MyThreading/manythread.py
我是一个线程函数 2022-06-23 16:54:58.205146
我是一个线程函数 2022-06-23 16:54:58.205146
我是一个线程函数 2022-06-23 16:54:58.206159
我是一个线程函数 2022-06-23 16:54:58.206159
我是一个线程函数 2022-06-23 16:54:58.206159
我是一个线程函数 2022-06-23 16:54:58.207139
我是一个线程函数 2022-06-23 16:54:58.207139
我是一个线程函数 2022-06-23 16:54:58.207139
我是一个线程函数 2022-06-23 16:54:58.208150
我是一个线程函数 2022-06-23 16:54:58.208150

Process finished with exit code 0

通过循环创建10个线程，并且执行了10次线程函数，但需要注意的是python的并发并非绝对意义上的同时处理，因为启动线程是通过循环启动的，还是有先后顺序的，通过执行结果的时间可以看出还是有细微的差异，但可以忽略不记。当然如果线程过多就会扩大这种差异。我们启动500个线程看下程序执行时间

实例

import threading
from datetime import datetime


def thread_func():  # 线程函数
    print('我是一个线程函数', datetime.now())


def many_thread():
    threads = []
    for _ in range(500):  # 循环创建500个线程
        t = threading.Thread(target=thread_func)
        threads.append(t)
    for t in threads:  # 循环启动500个线程
        t.start()


if __name__ == '__main__':
    start = datetime.today().now()
    many_thread()
    duration = datetime.today().now() - start
    print(duration)

执行结果

0:00:00.111657

Process finished with exit code 0

500个线程共执行了大约0.11秒

那么针对这种问题我们该如何优化呢？我们可以创建25个线程，每个线程执行20次线程函数，这样在启动下一个线程的时候，上一个线程已经在循环执行了，这样就大大减少了并发的时间差异

优化

import threading
from datetime import datetime


def thread_func():  # 线程函数
    print('我是一个线程函数', datetime.now())


def execute_func():
    for _ in range(20):
        thread_func()


def many_thread():
    start = datetime.now()
    threads = []
    for _ in range(25):  # 循环创建500个线程
        t = threading.Thread(target=execute_func)
        threads.append(t)
    for t in threads:  # 循环启动500个线程
        t.start()
    duration = datetime.now() - start
    print(duration)

if __name__ == '__main__':
    many_thread()

输出结果(仅看程序执行间隔)

0:00:00.014959

Process finished with exit code 0

后面的优化执行500次并发一共花了0.014秒。比未优化前的500个并发快了几倍，如果线程函数的执行时间比较长的话，那么这个差异会更加显著，所以大量的并发测试建议使用后者，后者比较接近同时“并发”

三、守护线程

多线程还有一个重要概念就是守护线程。那么在这之前我们需要知道主线程和子线程的区别，之前创建的线程其实都是main()线程的子线程，即先启动主线程main()，然后执行线程函数子线程。

那么什么是守护线程？即当主线程执行完毕之后，所有的子线程也被关闭(无论子线程是否执行完成)。默认不设置的情况下是没有守护线程的，主线程执行完毕后，会等待子线程全部执行完毕，才会关闭结束程序。

但是这样会有一个弊端，当子线程死循环了或者一直处于等待之中，则程序将不会被关闭，被被无限挂起，我们把上述的线程函数改成循环10次, 并睡眠2秒，这样效果会更明显

import threading
from datetime import datetime
import time


def thread_func():  # 线程函数
　　 time.sleep(2)
    i = 0
    while(i < 11):
        print(datetime.now())
        i += 1

def many_thread():
    threads = []
    for _ in range(10):  # 循环创建500个线程
        t = threading.Thread(target=thread_func)
        threads.append(t)
    for t in threads:  # 循环启动500个线程
        t.start()


if __name__ == '__main__':
    many_thread()
    print("thread end")

执行结果

C:\Python36\python.exe D:/MyThreading/manythread.py
thread end
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.468612
2022-06-23 19:08:00.469559
2022-06-23 19:08:00.469559
2022-06-23 19:08:00.469559
2022-06-23 19:08:00.469559
2022-06-23 19:08:00.469559
2022-06-23 19:08:00.469559
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.470556
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.471554
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.472557
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.473548
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.474545
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.475552
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.476548
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546
2022-06-23 19:08:00.477546

Process finished with exit code 0

根据上述结果可以看到主线程打印了“thread end”之后（主线程结束），子线程还在继续执行，并未随着主线程的结束而结束

下面我们通过 setDaemon方法给子线程添加守护线程，我们把循环改为死循环，再来看看输出结果(注意守护线程要加在start之前)

import threading
from datetime import datetime
def thread_func():  # 线程函数
    i = 0
    while(1):
        print(datetime.now())
        i += 1

def many_thread():
    threads = []
    for _ in range(10):  # 循环创建500个线程
        t = threading.Thread(target=thread_func)
        threads.append(t)
        t.setDaemon(True)  # 给每个子线程添加守护线程
    for t in threads:  # 循环启动500个线程
        t.start()


if __name__ == '__main__':
    many_thread()
    print("thread end")

输出结果

2022-06-23 19:12:35.564539
2022-06-23 19:12:35.564539
2022-06-23 19:12:35.564539
2022-06-23 19:12:35.564539
2022-06-23 19:12:35.564539
2022-06-23 19:12:35.564539
2022-06-23 19:12:35.565529
2022-06-23 19:12:35.565529
2022-06-23 19:12:35.565529
thread end

Process finished with exit code 0

通过结果我们可以发现，主线程关闭之后子线程也会随着关闭，并没有无限的循环下去，这就像程序执行到一半强制关闭执行一样，看似暴力却很有用，如果子线程发送一个请求未收到请求结果，那不可能永远等下去，这时候就需要强制关闭。所以守护线程解决了主线程和子线程关闭的问题。

四、阻塞线程

上面说了守护线程的作用，那么有没有别的方法来解决上述问题呢？ 其实是有的，那就是阻塞线程，这种方式更加合理，使用join()方法阻塞线程，让主线程等待子线程执行完成之后再往下执行，再关闭所有子线程，而不是只要主线程结束，不管子线程是否执行完成都终止子线程执行。下面我们给子线程添加上join()（主要join要加到start之后）

import threading
from datetime import datetime
import time


def thread_func():  # 线程函数
    time.sleep(1)
    i = 0
    while(i < 11):
        print(datetime.now())
        i += 1

def many_thread():
    threads = []
    for _ in range(10):  # 循环创建500个线程
        t = threading.Thread(target=thread_func)
        threads.append(t)
        t.setDaemon(True)  # 给每个子线程添加守护线程
    for t in threads:  # 循环启动500个线程
        t.start()
    for t in threads:
        t.join()  # 阻塞线程

if __name__ == '__main__':
    many_thread()
    print("thread end")

执行结果

程序会一直执行，但是不会打印“thread end”语句，因为子线程并未结束，那么主线程就会一直等待。

疑问：有人会觉得这和什么都不设置是一样的，其实会有一点区别的，从守护线程和线程阻塞的定义就可以看出来，如果什么都没设置，那么主线程会先执行完毕打印后面的“thread end”，而等待子线程执行完毕。两个都设置了，那么主线程会等待子线程执行结束再继续执行。

而对于死循环或者一直等待的情况，我们可以给join设置超时等待，我们设置join的参数为2，那么子线程会告诉主线程让其等待2秒，如果2秒内子线程执行结束主线程就继续往下执行，如果2秒内子线程未结束，主线程也会继续往下执行，执行完成后关闭子线程

import threading
from datetime import datetime
import time


def thread_func():  # 线程函数
    time.sleep(1)
    i = 0
    while(1):
        print(datetime.now())
        i += 1

def many_thread():
    threads = []
    for _ in range(10):  # 循环创建500个线程
        t = threading.Thread(target=thread_func)
        threads.append(t)
        t.setDaemon(True)  # 给每个子线程添加守护线程
    for t in threads:  # 循环启动500个线程
        t.start()
    for t in threads:
        t.join(2)  # 设置子线程超时2秒

if __name__ == '__main__':
    many_thread()
    print("thread end")

输出结果

你运行程序后会发现，运行了大概2秒的时候，程序会数据“thread end” 然后结束程序执行， 这就是阻塞线程的意义，控制子线程和主线程的执行顺序

总结

最好呢，再次说一下守护线程和阻塞线程的定义

守护线程：子线程会随着主线程的结束而结束，无论子线程是否执行完毕

阻塞线程：主线程会等待子线程的执行结束，才继续执行

最后今天的文章就到这里了哟,喜欢的小伙伴可以点赞收藏评论关注哟。

相关推荐

redis的八种使用场景

前言:redis是我们工作开发中，经常要打交道的，下面对redis的使用场景做总结介绍也是对redis举报的功能做梳理。缓存Redis最常见的用途是作为缓存，用于加速应用程序的响应速度。...

基于Redis的3种分布式ID生成策略

在分布式系统设计中，全局唯一ID是一个基础而关键的组件。随着业务规模扩大和系统架构向微服务演进，传统的单机自增ID已无法满足需求。高并发、高可用的分布式ID生成方案成为构建可靠分布式系统的必要条件。R...

基于OpenWrt系统路由器的模式切换与网页设计

摘要：目前商用WiFi路由器已应用到多个领域，商家通过给用户提供一个稳定免费WiFi热点达到吸引客户、提升服务的目标。传统路由器自带的Luci界面提供了工厂模式的Web界面，用户可通过该界面配置路...

这篇文章教你看明白 nginx-ingress 控制器

主机nginx一般nginx做主机反向代理（网关）有以下配置...

如何用redis实现注册中心

一句话总结使用Redis实现注册中心：服务注册...

爱可可老师24小时热门分享(2020.5.10)

No1.看自己以前写的代码是种什么体验？No2.DooM-chip!国外网友SylvainLefebvre自制的无CPU、无操作码、无指令计数器...No3.我认为CS学位可以更好，如...

Apportable:拯救程序员，IOS一秒变安卓

摘要：还在为了跨平台使用cocos2d-x吗,拯救objc程序员的奇葩来了,ApportableSDK:FreeAndroidsupportforcocos2d-iPhone。App...

JAVA实现超买超卖方案汇总，那个最适合你，一篇文章彻底讲透

以下是几种Java实现超买超卖问题的核心解决方案及代码示例，针对高并发场景下的库存扣减问题：方案一：Redis原子操作+Lua脚本（推荐）//使用Redis+Lua保证原子性publicbo...

3月26日更新 快速施法自动施法可独立设置

2016年3月26日DOTA2有一个79.6MB的更新主要是针对自动施法和快速施法的调整本来内容不多不少朋友都有自动施法和快速施法的困扰英文更新日志一些视觉BUG修复就不翻译了主要翻译自动施...

Redis 是如何提供服务的

在刚刚接触Redis的时候，最想要知道的是一个’setnameJhon’命令到达Redis服务器的时候，它是如何返回’OK’的？里面命令处理的流程如何，具体细节怎么样？你一定有问过自己...

lua _G、_VERSION使用

到这里我们已经把lua基础库中的函数介绍完了，除了函数外基础库中还有两个常量，一个是_G，另一个是_VERSION。_G是基础库本身，指向自己，这个变量很有意思，可以无限引用自己，最后得到的还是自己，...

China&#39;s top diplomat to chair third China-Pacific Island countries foreign ministers&#39; meeting

BEIJING,May21(Xinhua)--ChineseForeignMinisterWangYi,alsoamemberofthePoliticalBureau...

移动工作交流工具Lua推出Insights数据分析产品

Lua是一个适用于各种职业人士的移动交流平台，它在今天推出了一项叫做Insights的全新功能。Insights是一个数据平台，客户可以在上面实时看到员工之间的交流情况，并分析这些情况对公司发展的影响...

Redis 7新武器:用Redis Stack实现向量搜索的极限压测

当传统关系型数据库还在为向量相似度搜索的性能挣扎时，Redis7的RedisStack...

Nginx/OpenResty详解，Nginx Lua编程，重定向与内部子请求

重定向与内部子请求Nginx的rewrite指令不仅可以在Nginx内部的server、location之间进行跳转，还可以进行外部链接的重定向。通过ngx_lua模块的Lua函数除了能实现Nginx...

一周热门
最近发表
标签列表
赣ICP备2024040476号-12