Python如何使用临时文件和目录(python目录下文件)
wptr33 2025-06-15 19:47 36 浏览
在某些项目中,有时候会有大量的临时数据,比如各种日志,这时候我们要做数据分析,并把最后的结果储存起来,这些大量的临时数据如果常驻内存,将消耗大量内存资源,我们可以使用临时文件,存储这些临时数据。
使用标准库tempfile模块下的TemporaryFile对象,创建临时文件
使用TemporaryFile创建临时文件,不用命名,并且关闭的时候自动删除,此临时文件只能通过返回的文件对象f进行访问,不能通过系统文件路径访问;因此它只能通过当前进程进行访问。
TemporaryFile(mode = 'w+b', bufsize = '', suffix = '', prefix = 'tmp', dir = None, delete = True)
- mode:默认‘wb’权限;
- dir:这是文件创建使用的目录,这个非常又用,可以指定到一个比较空闲的磁盘上去;
- delete = True:默认为True,也就是说关闭文件时将其删除;可以定义delete = False,这样临时文件关闭时不会被删除;
from temfile imort TemporaryFile, NamedTemporaryFile
#创建临时文件
f = TemporaryFile()
#将临时数据写入临时文件
f.write('abcdefg' * 10000)
#访问临时数据
#将文件指针移到开始
f.seek(0)
#读取临时文件的前n字节
f.read(n)
使用标准库tempfile模块下的NamedTemporaryFile对象,创建临时文件
由于TemporaryFile临时文件不用命名,所以只能在当前进程访问,如果我们开启多进程需要访问同一个临时文件,如何处理呢?这时我们就要使用NamedTemporaryFile创建一个有名字的临时文件,这样就可以被多进程访问了。
NamedTemporaryFile(mode='wb', bufsize=-1, suffix='', prefix='tmp', dir=None, delete=True)
- mode:默认‘wb’权限;
- delete = True:默认为True,也就是说关闭文件时将其删除;可以定义delete = False,这样临时文件关闭时不会被删除;
import tempfile
from tempfile import TemporaryFile, NamedTemporaryFile
ntf = NamedTemporaryFile()
#ntf的属性:ntf.close、ntf.delete、ntf.name、ntf.close_called、ntf.file、ntf.unlink
#ntf的name属性,也就是临时文件在文件系统下的文件路径
print(ntf.name)
# 临时文件名
print(tempfile.gettempdir())
# 存储目录 C:\Users\ADMINI~1\AppData\Local\Temp
print(tempfile.gettempprefix())
# 前缀 tmp,可以在NamedTemporaryFile中传参修改
假脱机模式高级临时文件对象创建函数:SpooledTemporaryfile
SpooledTemporaryFile(max_size=0, mode='w+b', buffering=-1, encoding=None, newline=None, suffix=None, prefix=None, dir=None, *, errors=None)
SpooledTemporaryFile()函数除了数据会在内存中进行假脱机外,与TemporaryFile()完全相同。直到文件大小超过max_size或直到调用文件的fileno()方法,此时使用与TemporaryFile()一样的操作,将内容写入磁盘。
该函数同样返回一个类文件对象,其_file属性可以是io.BytesIO(二进制模式)、io.TextIOWrapper(文本模式)对象或真实的文件对象(调用roller()函数)。同样的,这个类文件对象可以在with上下文管理中使用,就像普通文件一样。
该函数还有一个额外的方法rollover(),它使创建的文件滚寻磁盘上的内容,而不管其大小。SpooledTemporaryFile函数的调用格式与TemporaryFile()函数一样,这里就不介绍了。
TemporaryDirectory创建临时目录
除了可以创建临时文件,而有些场景下,我们需要创建临时文件夹,这可以基于TemporaryDirectory()来实现,比如生成一个压缩包。
TemporaryDirectory类用于创建临时目录,目录及其内容使用完毕后会被自动删除。
import tempfile
import shutil
import zipfile
# 创建临时目录
with tempfile.TemporaryDirectory() as temp_dir:
# 在临时目录中创建一些文件
with open(f"{temp_dir}/file1.txt", 'w') as f:
f.write("Hello, World!")
with open(f"{temp_dir}/file2.txt", 'w') as f:
f.write("Hello, Python!")
# 创建压缩包
with zipfile.ZipFile(f"{temp_dir}/files.zip", 'w') as zip_file:
for root, dirs, files in os.walk(temp_dir):
for file in files:
file_path = os.path.join(root, file)
if file_path != zip_file.filename: # 排除压缩包本身
zip_file.write(file_path, os.path.relpath(file_path, temp_dir))
# 临时目录现在已经被删除,压缩包仍然存在
使用mkdtemp与mkstemp
当需要更细粒度的控制时,可以使用mkdtemp和mkstemp函数。这两个函数分别用于创建临时目录和临时文件,且不会自动删除创建的目录或文件。
import tempfile
import os
# 创建临时目录
tempdir = tempfile.mkdtemp()
print('Temporary directory:', tempdir)
# 创建临时文件
fd, temp_file_path = tempfile.mkstemp(suffix='.txt', dir=tempdir)
os.close(fd)
print('Temporary file:', temp_file_path)
# 清理资源
os.remove(temp_file_path)
os.rmdir(tempdir)
相关推荐
- 什么是Java中的继承?如何实现继承?
-
什么是继承?...
- Java 继承与多态:从基础到实战的深度解析
-
在面向对象编程(OOP)的三大支柱中,继承与多态是构建灵活、可复用代码的核心。无论是日常开发还是框架设计,这两个概念都扮演着至关重要的角色。本文将从基础概念出发,结合实例与图解,带你彻底搞懂Java...
- Java基础教程:Java继承概述_java的继承
-
继承概述假如我们要定义如下类:学生类,老师类和工人类,分析如下。学生类属性:姓名,年龄行为:吃饭,睡觉老师类属性:姓名,年龄,薪水行为:吃饭,睡觉,教书班主任属性:姓名,年龄,薪水行为:吃饭,睡觉,管...
- java4个技巧:从继承和覆盖,到最终的类和方法
-
日复一日,我们编写的大多数Java只使用了该语言全套功能的一小部分。我们实例化的每个流以及我们在实例变量前面加上的每个@Autowired注解都足以完成我们的大部分目标。然而,有些时候,我们必须求助于...
- java:举例说明继承的概念_java继承的理解
-
在现实生活中,继承一般指的是子女继承父辈的财产。在程序中,继承描述的是事物之间的所属关系,通过继承可以使多种事物之间形成一种关系体系。例如猫和狗都属于动物,程序中便可以描述为猫和狗继承自动物,同理,...
- 从零开始构建一款开源的 Vibe Coding 产品 Week1Day4:业界调研之 Agent 横向对比
-
前情回顾前面两天我们重点调研了了一下Cursor的原理和Cursor中一个关键的工具edit_file的实现,但是其他CodingAgent也需要稍微摸一下底,看看有没有优秀之处,下...
- 学会这几个插件,让你的Notepad++使用起来更丝滑
-
搞程序开发的小伙伴相信对Notepad++都不会陌生,是一个占用空间少、打开启动快的文件编辑器,很多程序员喜欢使用Notepad++进行纯文本编辑或者脚本开发,但是Notepad++的功能绝不止于此,...
- 将 node_modules 目录放入 Git 仓库的优点
-
推荐一篇文章Whyyoushouldcheck-inyournodedependencies[1]...
- 再度加码AI编程,腾讯发布AI CLI并宣布CodeBuddy IDE开启公测
-
“再熬一年,90%的程序员可能再也用不着写for循环。”凌晨两点半,王工还在公司敲键盘。他手里那份需求文档写了足足六页,产品经理反复改了三次。放在过去,光数据库建表、接口对接、单元测试就得写两三天。现...
- git 如何查看stash的内容_git查看ssh key
-
1.查看Stash列表首先,使用gitstashlist查看所有已保存的stash:...
- 6万星+ Git命令懒人必备!lazygit 终端UI神器,效率翻倍超顺手!
-
项目概览lazygit是一个基于终端的Git命令可视化工具,通过简易的TUI(文本用户界面)提升Git操作效率。开发者无需记忆复杂命令,即可完成分支管理、提交、合并等操作。...
- 《Gemini CLI 实战系列》(一)Gemini CLI 入门:AI 上命令行的第一步
-
谷歌的Gemini模型最近热度很高,而它的...
- deepin IDE新版发布:支持玲珑构建、增强AI智能化
-
IT之家8月7日消息,深度操作系统官方公众号昨日(8月6日)发布博文,更新推出新版deepin集成开发环境(IDE),重点支持玲珑构建。支持玲珑构建deepinIDE在本次重磅更...
- 狂揽82.7k的star,这款开源可视化神器,轻松创建流程图和图表
-
再不用Mermaid,你的技术文档可能已经在悄悄“腐烂”——图表版本对不上、同事改完没同步、评审会上被一句“这图哪来的”问得哑口无言。这不是危言耸听。GitHub2025年开发者报告显示,63%的新仓...
- 《Gemini CLI 实战系列》(五)打造专属命令行工具箱
-
在前几篇文章中,我们介绍了GeminiCLI的基础用法、效率提升、文件处理和与外部工具结合。今天我们进入第五篇...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
程序员的开源月刊《HelloGitHub》第 71 期
-
详细介绍一下Redis的Watch机制,可以利用Watch机制来做什么?
-
如何将AI助手接入微信(打开ai手机助手)
-
SparkSQL——DataFrame的创建与使用
-
假如有100W个用户抢一张票,除了负载均衡办法,怎么支持高并发?
-
Java面试必考问题:什么是乐观锁与悲观锁
-
redission YYDS spring boot redission 使用
-
如何利用Redis进行事务处理呢? 如何利用redis进行事务处理呢英文
-
一文带你了解Redis与Memcached? redis与memcached的区别
-
- 最近发表
-
- 什么是Java中的继承?如何实现继承?
- Java 继承与多态:从基础到实战的深度解析
- Java基础教程:Java继承概述_java的继承
- java4个技巧:从继承和覆盖,到最终的类和方法
- java:举例说明继承的概念_java继承的理解
- 从零开始构建一款开源的 Vibe Coding 产品 Week1Day4:业界调研之 Agent 横向对比
- 学会这几个插件,让你的Notepad++使用起来更丝滑
- 将 node_modules 目录放入 Git 仓库的优点
- 再度加码AI编程,腾讯发布AI CLI并宣布CodeBuddy IDE开启公测
- git 如何查看stash的内容_git查看ssh key
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)