Python运行时硬盘一直有写入如何排查和解决

这个问题我遇到过，排查硬盘写入可以从这几个方向入手：

1. 先定位是哪个进程在写

import subprocess
import sys

# Windows用Process Monitor，Linux/Mac用iotop
if sys.platform == "win32":
    print("建议下载Process Monitor查看磁盘活动")
else:
    try:
        subprocess.run(["sudo", "iotop", "-o", "-P"], check=False)
    except:
        print("安装iotop: sudo apt install iotop")

2. 检查Python程序自身的文件操作 常见问题代码：

# 问题示例：频繁写入日志
import logging

logging.basicConfig(
    level=logging.DEBUG,
    filename='app.log',  # 持续写入
    filemode='a'         # 追加模式
)

# 改为按大小或时间轮转
from logging.handlers import RotatingFileHandler
handler = RotatingFileHandler('app.log', maxBytes=1024*1024, backupCount=5)

3. 检查第三方库的缓存

# 很多库会缓存数据到磁盘
import tempfile
print(f"临时目录: {tempfile.gettempdir()}")

# 清理可能的大量缓存文件
import shutil, os
temp_dir = tempfile.gettempdir()
for item in os.listdir(temp_dir):
    if item.startswith("python_"):  # 示例匹配模式
        path = os.path.join(temp_dir, item)
        try:
            if os.path.isfile(path):
                os.unlink(path)
            elif os.path.isdir(path):
                shutil.rmtree(path)
        except Exception as e:
            print(f"无法删除 {path}: {e}")

4. 数据库操作检查

# SQLite自动提交可能导致频繁写入
import sqlite3

# 坏例子
conn = sqlite3.connect('test.db')  # 默认autocommit=False但某些操作会触发
conn.execute("INSERT INTO table VALUES (?)", [data])  # 每次执行都可能写盘

# 改进：显式事务批量操作
conn = sqlite3.connect('test.db', isolation_level=None)  # 或手动控制
cursor = conn.cursor()
cursor.execute("BEGIN")
for data in large_dataset:
    cursor.execute("INSERT INTO table VALUES (?)", [data])
cursor.execute("COMMIT")

5. 使用监控工具定位

# 简单监控脚本
import psutil
import time

def monitor_io(pid=None, interval=2):
    """监控指定进程或所有Python进程的IO"""
    if pid:
        p = psutil.Process(pid)
        print(f"监控进程 {pid} ({p.name()})")
    else:
        # 监控所有Python进程
        python_procs = [proc for proc in psutil.process_iter() 
                       if 'python' in proc.name().lower()]
    
    while True:
        if pid:
            io = p.io_counters()
            print(f"写字节数: {io.write_bytes / 1024:.1f}KB")
        time.sleep(interval)

# 使用前安装: pip install psutil

快速排查步骤：

1. 用系统工具（iotop/Process Monitor）找到具体进程
2. 检查程序中的文件操作、日志配置
3. 查看临时目录和缓存
4. 数据库操作是否过于频繁

建议先确定是程序问题还是依赖库问题。