Python基础入门 Day87 文件的读取与处理优化

61次阅读

共计 1759 个字符，预计需要花费 5 分钟才能阅读完成。

在处理大量数据时，文件的读取效率和内存使用是两个需要特别关注的方面。在这一节中，我们将学习一些文件读取和处理的优化方法，帮助你在处理大文件时提升程序性能，降低内存占用。

逐行读取文件
对于大文件，逐行读取是比较常见且高效的做法，避免一次性将整个文件加载到内存。

with open("large_file.txt", "r", encoding="utf-8") as f:
    for line in f:
        # 对每一行进行处理
        print(line.strip())

这种方式不仅能够减少内存占用，而且能有效处理大文件。

读取文件块
当处理二进制文件或大文本文件时，使用固定大小的块读取可以更好地控制内存的使用。

with open("large_file.txt", "rb") as f:
    chunk_size = 1024  # 每次读取 1 KB
    while chunk := f.read(chunk_size):
        # 对每块数据进行处理
        print(chunk)

这种方式尤其适用于需要按块处理文件内容的场景，比如图片、音频等二进制文件。

内存映射文件（mmap）
在内存中直接映射大文件，可以避免将整个文件加载到内存，减少内存占用。mmap 模块提供了这样的功能，适用于需要随机访问大文件的场景。

import mmap

with open("large_file.txt", "r") as f:
    # 将文件映射到内存中
    mm = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)
    print(mm[:100])  # 读取前 100 字节
    mm.close()

使用 mmap，可以通过内存地址直接访问文件数据，而无需一次性加载整个文件。

缓冲读取与写入
在默认情况下，文件读写操作已使用缓冲区，这可以显著提高文件处理的效率。可以通过 open() 函数的 buffering 参数来控制缓冲大小，适用于需要频繁读写文件的场景。

with open("large_file.txt", "r", buffering=8192) as f:
    for line in f:
        print(line.strip())

buffering=8192 设置缓冲区为 8 KB，通常对于文本文件，选择合适的缓冲区大小能够提高性能。

使用生成器优化内存使用
当处理每一行或每一块文件内容时，使用生成器而不是列表可以减少内存占用。生成器在需要时生成数据，避免将所有数据存储在内存中。

def read_lines(file_path):
    with open(file_path, "r", encoding="utf-8") as f:
        for line in f:
            yield line.strip()  # 返回一个生成器

# 使用生成器逐行处理
for line in read_lines("large_file.txt"):
    print(line)

生成器按需生成数据，而不是将整个文件加载到内存中，适用于大文件处理。

多线程或多进程并行处理文件
在需要对大文件进行复杂处理时，可以利用多线程或多进程提高处理速度。concurrent.futures 模块提供了简化的接口来并行处理文件的不同部分。

from concurrent.futures import ThreadPoolExecutor

def process_line(line):
    # 处理每一行
    return line.strip()

with open("large_file.txt", "r", encoding="utf-8") as f:
    with ThreadPoolExecutor() as executor:
        results = executor.map(process_line, f)
        for result in results:
            print(result)

通过并行处理，能够加快大文件的处理速度，尤其是在多核处理器上。

总结：
在处理大文件时，逐行读取、块读取、内存映射、生成器等方法能够有效提高文件操作的性能，降低内存占用。同时，合理使用缓冲区和并行处理能够进一步优化程序的运行效率。掌握这些技巧，有助于你在文件处理、数据分析等方面提升代码的性能。

练习与思考：