不允许你还不会的Python 文件与字符串处理高效技巧
wptr33 2025-07-10 21:26 5 浏览
掌握文件和字符串的高效处理技巧是Python编程中的重要能力。以下是一些专业级的优化技巧和实践方法:
一、文件处理高效技巧
1. 文件读取优化
1.1 大文件逐行读取
# 标准方法(内存友好)
with open('large_file.txt', 'r', encoding='utf-8') as f:
for line in f: # 文件对象本身就是迭代器
process(line) # 逐行处理,不加载整个文件到内存
# 使用缓冲读取(处理二进制文件)
BUFFER_SIZE = 65536 # 64KB
with open('large_binary.bin', 'rb') as f:
while chunk := f.read(BUFFER_SIZE):
process_chunk(chunk)
1.2 高效读取方法对比
方法 | 内存使用 | 适用场景 |
read() | 高 | 小文件一次性读取 |
readline() | 低 | 需要精确控制行读取 |
for line in file | 最低 | 大文件逐行处理 |
readlines() | 高 | 需要所有行在内存中 |
2. 文件写入优化
2.1 批量写入减少IO操作
# 低效方式(多次IO)
with open('output.txt', 'w') as f:
for item in data:
f.write(str(item) + '\n')
# 高效方式(单次IO)
with open('output.txt', 'w') as f:
f.writelines(f"{item}\n" for item in data) # 使用生成器表达式
2.2 追加写入模式
# 追加模式不会覆盖原有内容
with open('log.txt', 'a') as f:
f.write(f"{datetime.now()}: New log entry\n")
3. 上下文管理器高级用法
3.1 同时处理多个文件
with open('input.txt', 'r') as fin, open('output.txt', 'w') as fout:
for line in fin:
fout.write(line.upper())
3.2 自定义上下文管理器
from contextlib import contextmanager
@contextmanager
def open_file(filename, mode):
try:
f = open(filename, mode)
yield f
finally:
f.close()
with open_file('data.txt', 'r') as f:
content = f.read()
二、字符串处理高效技巧
1. 字符串拼接优化
1.1 使用join代替+=
# 低效方式(每次拼接创建新对象)
result = ""
for s in string_list:
result += s # O(n^2)时间复杂度
# 高效方式
result = "".join(string_list) # O(n)时间复杂度
1.2 格式化字符串性能对比
name = "Alice"; age = 25
# 方法1:f-string (Python 3.6+ 最快)
msg = f"My name is {name} and I'm {age} years old"
# 方法2:format方法
msg = "My name is {} and I'm {} years old".format(name, age)
# 方法3:%格式化 (Python2风格)
msg = "My name is %s and I'm %d years old" % (name, age)
2. 字符串查找与替换
2.1 高效查找方法
s = "Python programming is fun"
# 检查前缀/后缀
if s.startswith("Python"): ...
if s.endswith("fun"): ...
# 快速查找(返回索引)
idx = s.find("prog") # 返回-1表示未找到
idx = s.index("prog") # 找不到会抛出异常
2.2 多重替换
# 简单替换
s.replace("old", "new")
# 多重替换(使用str.translate最快)
trans_table = str.maketrans({'a': '1', 'b': '2'})
result = "abc".translate(trans_table) # "12c"
# 正则表达式替换
import re
re.sub(r"\d+", "NUM", "123 abc") # "NUM abc"
3. 字符串分割与连接
3.1 高效分割技巧
# 简单分割
parts = "a,b,c".split(",") # ['a', 'b', 'c']
# 限制分割次数
"a b c d".split(" ", 2) # ['a', 'b', 'c d']
# 保留分隔符(使用re.split)
import re
re.split(r"([,;])", "a,b;c") # ['a', ',', 'b', ';', 'c']
3.2 多行字符串处理
text = """Line 1
Line 2
Line 3"""
# 按行分割(保持换行符)
lines = text.splitlines(keepends=True)
# 移除每行首尾空白
cleaned = [line.strip() for line in text.splitlines()]
4. 字符串性能优化
4.1 使用字符串缓存
import sys
# 小字符串会被自动驻留(interning)
a = "hello"
b = "hello"
print(a is b) # True (相同对象)
# 强制驻留大字符串
big_str = sys.intern("very long string..." * 100)
4.2 避免不必要的字符串操作
# 不推荐:多次创建临时字符串
if s.lower().startswith("prefix").strip(): ...
# 推荐:分步处理
lower_s = s.lower()
stripped_s = lower_s.strip()
if stripped_s.startswith("prefix"): ..
三、文件与字符串结合处理
1. 高效日志处理
import re
from collections import defaultdict
log_pattern = re.compile(r'\[(.*?)\] (\w+): (.*)')
def process_log(file_path):
stats = defaultdict(int)
with open(file_path) as f:
for line in f:
if match := log_pattern.match(line):
timestamp, level, message = match.groups()
stats[level] += 1
if level == 'ERROR':
log_error(message)
return stats
2. CSV文件高效处理
import csv
from collections import namedtuple
# 使用命名元组处理CSV
with open('data.csv') as f:
reader = csv.reader(f)
headers = next(reader)
Row = namedtuple('Row', headers)
for row in map(Row._make, reader):
process_row(row)
3. 内存映射文件处理大文件
import mmap
def search_in_large_file(filename, search_term):
with open(filename, 'r+b') as f:
# 内存映射文件
with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
# 像操作字符串一样操作文件内容
if (pos := mm.find(search_term.encode())) != -1:
return pos
return -1
四、实用工具函数
1. 通用文件处理函数
def batch_process_files(file_pattern, processor, workers=4):
"""多进程批量处理文件"""
from concurrent.futures import ProcessPoolExecutor
import glob
files = glob.glob(file_pattern)
with ProcessPoolExecutor(max_workers=workers) as executor:
executor.map(processor, files)
2. 字符串模板处理
from string import Template
template = Template("Hello $name! Your balance is $ $amount")
message = template.substitute(name="Alice", amount=100.5)
# Hello Alice! Your balance is $ 100.5
3. 高效多行日志解析
def parse_multiline_logs(file_obj):
buffer = []
for line in file_obj:
if line.startswith('[') and buffer:
yield ''.join(buffer)
buffer = [line]
else:
buffer.append(line)
if buffer:
yield ''.join(buffer)
性能对比总结
操作 | 高效方法 | 低效方法 | 性能提升 |
文件读取 | 迭代文件对象 | readlines() | 内存节省90%+ |
字符串拼接 | join() | += 操作 | O(n) vs O(n^2) |
多重替换 | str.translate | 多次replace | 快5-10倍 |
模式匹配 | 预编译正则 | 每次编译正则 | 快3-5倍 |
CSV处理 | csv模块+命名元组 | 手动分割 | 更安全高效 |
记住这些原则:
- 对于大文件,始终使用迭代方式而非全量读取
- 字符串操作优先使用内置方法而非手动循环
- 频繁操作考虑使用正则表达式预编译
- 大量字符串处理时注意内存驻留和缓存
掌握这些技巧后,您的文件与字符串处理代码将更加高效和专业。
相关推荐
- 台积电提出SRAM存内计算新方法,能效比可达89TOPS/W
-
芯东西(公众号:aichip001)编译|高歌编辑|云鹏芯东西3月16日消息,近期,台积电的研究人员在ISSCC2021会议上公布了一种改良的SRAM存储器阵列,该SRAM阵列采用22nm工...
- Golang中如何判断两个slice是否相等?
-
在Golang中,要判断两个slice是否相等是不能直接使用==运算符的(==只能说明两个slice是否指向同一个底层数组)。如果两个slice的底层数组相同,但长度或容量不同...
- JS入门基础知识(js基础知识总结笔记)
-
JS对象操作对象增删改查创建对象letobj={}新增属性obj.a=1修改属性obj.a='a'...
- 趣谈JS二进制:File、Blob、FileReader、ArrayBuffer、Base64
-
大家好,我是Echa。好久没跟粉丝们细聊JavaScript那点事了。做一名全栈工程师,JS基础还是要打牢,这样的话不管底层业务逻辑以及第三方框架怎么变化,都离不开基础。本文文章属于基础篇,阅读有点...
- 告别 substr() 和 substring()?更可靠的 JavaScript 字符串截取方法
-
JavaScript提供了三个主要的字符串截取方法:...
- golang第九天,切片(slice)介绍(golang 切片作为参数)
-
什么是切片golang切片是对数组的抽象。go的数组长度不可改变,在特定场景中这样的集合就不太适用,go中提供了一种灵活,功能强悍的内置类型切片(“动态数组”),与数组相比切片的长度是不固定的,可以追...
- Go语言零到一:数组(go struct数组)
-
引言...
- 你说你熟悉Slice,这道slice题你能答对吗?
-
每当你花费大量时间使用某种特定工具时,深入了解它并了解如何高效地使用它是很值得的。...
- Python 3.14七大新特性总结:从t-string模板到GIL并发优化
-
Python3.14已进入测试阶段,根据PEP745发布计划,该版本已停止引入新功能,也就是说新特征就应该已经固定下来了。所以本文基于当前最新的beta2版本,深入分析了Python3.14中...
- Python 幕后:Python导入import的工作原理
-
更多互联网精彩资讯、工作效率提升关注【飞鱼在浪屿】(日更新)Python最容易被误解的方面其中之一是import。...
- Python元类实现自动化编程的正确姿势
-
元类是Python中用于创建类的类。通过元类机制,开发者可在运行时动态创建和修改类,为框架开发、设计模式实现和高级架构设计提供核心支持。在Python语言的高级特性中,元类占据着独特而重要的地位。作...
- Python字符串详解与示例(python字符串类型及操作)
-
艾瑞巴蒂字符串的干货来了,字符串是程序中最常见的数据类型之一,用来表示数据文本,下面就来介绍下字符串的特性,操作和方法,和一些示例来吧道友:1.字符串的创建在python中字符串可以永单引号(...
- 恕我直言!你对Python里的import一无所知
-
文章来源:https://mp.weixin.qq.com/s/4WAOU_Lzy651IE-2zZSFfQ原文作者:写代码的明哥...
- Python基础:字符串操作(python字符串的用法)
-
字符串是Python中最常用的数据类型之一,用于表示文本数据。我们将学习如何对字符串进行常见的操作,包括创建、访问、修改和处理字符串。通过掌握这些技巧,您将能够更好地处理和操作文本数据。让我们开始吧!...
- Python 中 字符串处理的高效方法,不允许你还不知道
-
以下是Python中字符串处理的高效方法...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
git 执行pull错误如何撤销 git pull fail
-
面试官:git pull是哪两个指令的组合?
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
-
- 台积电提出SRAM存内计算新方法,能效比可达89TOPS/W
- Golang中如何判断两个slice是否相等?
- JS入门基础知识(js基础知识总结笔记)
- 趣谈JS二进制:File、Blob、FileReader、ArrayBuffer、Base64
- 告别 substr() 和 substring()?更可靠的 JavaScript 字符串截取方法
- golang第九天,切片(slice)介绍(golang 切片作为参数)
- Go语言零到一:数组(go struct数组)
- 你说你熟悉Slice,这道slice题你能答对吗?
- Python 3.14七大新特性总结:从t-string模板到GIL并发优化
- Python 幕后:Python导入import的工作原理
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)