百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

Python如何使用临时文件和目录(python目录下文件)

wptr33 2025-06-15 19:47 28 浏览

在某些项目中,有时候会有大量的临时数据,比如各种日志,这时候我们要做数据分析,并把最后的结果储存起来,这些大量的临时数据如果常驻内存,将消耗大量内存资源,我们可以使用临时文件,存储这些临时数据。

使用标准库tempfile模块下的TemporaryFile对象,创建临时文件

使用TemporaryFile创建临时文件,不用命名,并且关闭的时候自动删除,此临时文件只能通过返回的文件对象f进行访问,不能通过系统文件路径访问;因此它只能通过当前进程进行访问。

TemporaryFile(mode = 'w+b', bufsize = '', suffix = '', prefix = 'tmp', dir = None, delete = True)
  • mode:默认‘wb’权限;
  • dir:这是文件创建使用的目录,这个非常又用,可以指定到一个比较空闲的磁盘上去;
  • delete = True:默认为True,也就是说关闭文件时将其删除;可以定义delete = False,这样临时文件关闭时不会被删除;
from temfile imort TemporaryFile, NamedTemporaryFile
#创建临时文件
f = TemporaryFile()
#将临时数据写入临时文件
f.write('abcdefg' * 10000)
#访问临时数据
#将文件指针移到开始
f.seek(0)
#读取临时文件的前n字节
f.read(n)

使用标准库tempfile模块下的NamedTemporaryFile对象,创建临时文件

由于TemporaryFile临时文件不用命名,所以只能在当前进程访问,如果我们开启多进程需要访问同一个临时文件,如何处理呢?这时我们就要使用NamedTemporaryFile创建一个有名字的临时文件,这样就可以被多进程访问了。

NamedTemporaryFile(mode='wb', bufsize=-1, suffix='', prefix='tmp', dir=None, delete=True)
  • mode:默认‘wb’权限;
  • delete = True:默认为True,也就是说关闭文件时将其删除;可以定义delete = False,这样临时文件关闭时不会被删除;
import tempfile
from tempfile import TemporaryFile, NamedTemporaryFile
ntf = NamedTemporaryFile()
#ntf的属性:ntf.close、ntf.delete、ntf.name、ntf.close_called、ntf.file、ntf.unlink
#ntf的name属性,也就是临时文件在文件系统下的文件路径

print(ntf.name)
# 临时文件名
print(tempfile.gettempdir())
# 存储目录 C:\Users\ADMINI~1\AppData\Local\Temp
print(tempfile.gettempprefix())
# 前缀 tmp,可以在NamedTemporaryFile中传参修改

假脱机模式高级临时文件对象创建函数:SpooledTemporaryfile

SpooledTemporaryFile(max_size=0, mode='w+b', buffering=-1, encoding=None, newline=None, suffix=None, prefix=None, dir=None, *, errors=None)

SpooledTemporaryFile()函数除了数据会在内存中进行假脱机外,与TemporaryFile()完全相同。直到文件大小超过max_size或直到调用文件的fileno()方法,此时使用与TemporaryFile()一样的操作,将内容写入磁盘。

该函数同样返回一个类文件对象,其_file属性可以是io.BytesIO(二进制模式)、io.TextIOWrapper(文本模式)对象或真实的文件对象(调用roller()函数)。同样的,这个类文件对象可以在with上下文管理中使用,就像普通文件一样。

该函数还有一个额外的方法rollover(),它使创建的文件滚寻磁盘上的内容,而不管其大小。SpooledTemporaryFile函数的调用格式与TemporaryFile()函数一样,这里就不介绍了。

TemporaryDirectory创建临时目录

除了可以创建临时文件,而有些场景下,我们需要创建临时文件夹,这可以基于TemporaryDirectory()来实现,比如生成一个压缩包。

TemporaryDirectory类用于创建临时目录,目录及其内容使用完毕后会被自动删除。

import tempfile
import shutil
import zipfile
 
# 创建临时目录
with tempfile.TemporaryDirectory() as temp_dir:
    # 在临时目录中创建一些文件
    with open(f"{temp_dir}/file1.txt", 'w') as f:
        f.write("Hello, World!")
    with open(f"{temp_dir}/file2.txt", 'w') as f:
        f.write("Hello, Python!")
    
    # 创建压缩包
    with zipfile.ZipFile(f"{temp_dir}/files.zip", 'w') as zip_file:
        for root, dirs, files in os.walk(temp_dir):
            for file in files:
                file_path = os.path.join(root, file)
                if file_path != zip_file.filename:  # 排除压缩包本身
                    zip_file.write(file_path, os.path.relpath(file_path, temp_dir))
 
# 临时目录现在已经被删除,压缩包仍然存在

使用mkdtemp与mkstemp

当需要更细粒度的控制时,可以使用mkdtemp和mkstemp函数。这两个函数分别用于创建临时目录和临时文件,且不会自动删除创建的目录或文件。

import tempfile
import os
# 创建临时目录
tempdir = tempfile.mkdtemp()
print('Temporary directory:', tempdir)
# 创建临时文件
fd, temp_file_path = tempfile.mkstemp(suffix='.txt', dir=tempdir)
os.close(fd)
print('Temporary file:', temp_file_path)
# 清理资源
os.remove(temp_file_path)
os.rmdir(tempdir)

相关推荐

redis的八种使用场景

前言:redis是我们工作开发中,经常要打交道的,下面对redis的使用场景做总结介绍也是对redis举报的功能做梳理。缓存Redis最常见的用途是作为缓存,用于加速应用程序的响应速度。...

基于Redis的3种分布式ID生成策略

在分布式系统设计中,全局唯一ID是一个基础而关键的组件。随着业务规模扩大和系统架构向微服务演进,传统的单机自增ID已无法满足需求。高并发、高可用的分布式ID生成方案成为构建可靠分布式系统的必要条件。R...

基于OpenWrt系统路由器的模式切换与网页设计

摘要:目前商用WiFi路由器已应用到多个领域,商家通过给用户提供一个稳定免费WiFi热点达到吸引客户、提升服务的目标。传统路由器自带的Luci界面提供了工厂模式的Web界面,用户可通过该界面配置路...

这篇文章教你看明白 nginx-ingress 控制器

主机nginx一般nginx做主机反向代理(网关)有以下配置...

如何用redis实现注册中心

一句话总结使用Redis实现注册中心:服务注册...

爱可可老师24小时热门分享(2020.5.10)

No1.看自己以前写的代码是种什么体验?No2.DooM-chip!国外网友SylvainLefebvre自制的无CPU、无操作码、无指令计数器...No3.我认为CS学位可以更好,如...

Apportable:拯救程序员,IOS一秒变安卓

摘要:还在为了跨平台使用cocos2d-x吗,拯救objc程序员的奇葩来了,ApportableSDK:FreeAndroidsupportforcocos2d-iPhone。App...

JAVA实现超买超卖方案汇总,那个最适合你,一篇文章彻底讲透

以下是几种Java实现超买超卖问题的核心解决方案及代码示例,针对高并发场景下的库存扣减问题:方案一:Redis原子操作+Lua脚本(推荐)//使用Redis+Lua保证原子性publicbo...

3月26日更新 快速施法自动施法可独立设置

2016年3月26日DOTA2有一个79.6MB的更新主要是针对自动施法和快速施法的调整本来内容不多不少朋友都有自动施法和快速施法的困扰英文更新日志一些视觉BUG修复就不翻译了主要翻译自动施...

Redis 是如何提供服务的

在刚刚接触Redis的时候,最想要知道的是一个’setnameJhon’命令到达Redis服务器的时候,它是如何返回’OK’的?里面命令处理的流程如何,具体细节怎么样?你一定有问过自己...

lua _G、_VERSION使用

到这里我们已经把lua基础库中的函数介绍完了,除了函数外基础库中还有两个常量,一个是_G,另一个是_VERSION。_G是基础库本身,指向自己,这个变量很有意思,可以无限引用自己,最后得到的还是自己,...

China's top diplomat to chair third China-Pacific Island countries foreign ministers' meeting

BEIJING,May21(Xinhua)--ChineseForeignMinisterWangYi,alsoamemberofthePoliticalBureau...

移动工作交流工具Lua推出Insights数据分析产品

Lua是一个适用于各种职业人士的移动交流平台,它在今天推出了一项叫做Insights的全新功能。Insights是一个数据平台,客户可以在上面实时看到员工之间的交流情况,并分析这些情况对公司发展的影响...

Redis 7新武器:用Redis Stack实现向量搜索的极限压测

当传统关系型数据库还在为向量相似度搜索的性能挣扎时,Redis7的RedisStack...

Nginx/OpenResty详解,Nginx Lua编程,重定向与内部子请求

重定向与内部子请求Nginx的rewrite指令不仅可以在Nginx内部的server、location之间进行跳转,还可以进行外部链接的重定向。通过ngx_lua模块的Lua函数除了能实现Nginx...