Python中如何编写删除重复文件的脚本

import os
import hashlib
from collections import defaultdict
import argparse

def get_file_hash(filepath, chunk_size=8192):
    """计算文件的MD5哈希值"""
    hash_md5 = hashlib.md5()
    try:
        with open(filepath, "rb") as f:
            for chunk in iter(lambda: f.read(chunk_size), b""):
                hash_md5.update(chunk)
        return hash_md5.hexdigest()
    except (IOError, OSError):
        return None

def find_duplicate_files(directory):
    """查找目录中的重复文件"""
    # 按文件大小分组（相同大小才可能是重复文件）
    size_dict = defaultdict(list)
    
    for root, dirs, files in os.walk(directory):
        for filename in files:
            filepath = os.path.join(root, filename)
            try:
                file_size = os.path.getsize(filepath)
                size_dict[file_size].append(filepath)
            except OSError:
                continue
    
    # 对可能重复的文件计算哈希值
    hash_dict = defaultdict(list)
    
    for filepaths in size_dict.values():
        if len(filepaths) > 1:  # 只有多个文件大小相同才需要进一步检查
            for filepath in filepaths:
                file_hash = get_file_hash(filepath)
                if file_hash:
                    hash_dict[file_hash].append(filepath)
    
    # 返回真正的重复文件（哈希值相同）
    duplicates = [paths for paths in hash_dict.values() if len(paths) > 1]
    return duplicates

def delete_duplicates(duplicates, keep_first=True):
    """删除重复文件，默认保留第一个找到的文件"""
    deleted_files = []
    
    for file_list in duplicates:
        # 确定要保留的文件
        if keep_first:
            keep_file = file_list[0]
            delete_files = file_list[1:]
        else:
            # 可以修改为其他保留策略，比如保留最后修改时间最新的
            keep_file = file_list[-1]
            delete_files = file_list[:-1]
        
        # 删除重复文件
        for filepath in delete_files:
            try:
                os.remove(filepath)
                deleted_files.append(filepath)
                print(f"已删除: {filepath}")
            except OSError as e:
                print(f"删除失败 {filepath}: {e}")
    
    return deleted_files

def main():
    parser = argparse.ArgumentParser(description="查找并删除重复文件")
    parser.add_argument("directory", help="要扫描的目录路径")
    parser.add_argument("--dry-run", action="store_true", 
                       help="只显示重复文件，不实际删除")
    parser.add_argument("--keep-last", action="store_true",
                       help="保留最后一个文件（默认保留第一个）")
    
    args = parser.parse_args()
    
    if not os.path.isdir(args.directory):
        print(f"错误: {args.directory} 不是有效目录")
        return
    
    print(f"正在扫描目录: {args.directory}")
    duplicates = find_duplicate_files(args.directory)
    
    if not duplicates:
        print("未找到重复文件")
        return
    
    print(f"\n找到 {len(duplicates)} 组重复文件:")
    for i, file_list in enumerate(duplicates, 1):
        print(f"\n第 {i} 组 ({len(file_list)} 个文件):")
        for filepath in file_list:
            print(f"  {filepath}")
    
    if args.dry_run:
        print("\n干运行模式：未删除任何文件")
        return
    
    if input(f"\n确认删除 {len(duplicates)} 组重复文件？(y/n): ").lower() == 'y':
        keep_first = not args.keep_last
        deleted = delete_duplicates(duplicates, keep_first)
        print(f"\n已删除 {len(deleted)} 个重复文件")
    else:
        print("操作已取消")

if __name__ == "__main__":
    main()

这个脚本的工作原理：

1. 按大小分组：先找出大小相同的文件（不同大小的文件不可能是重复的）
2. 计算哈希：对大小相同的文件计算MD5哈希值，确保内容完全相同
3. 删除策略：默认保留每组重复文件中的第一个，删除其余副本

使用方法：

# 基本用法（扫描当前目录）
python deduplicate.py .

# 干运行模式（只显示不删除）
python deduplicate.py /path/to/directory --dry-run

# 保留最后一个文件
python deduplicate.py /path/to/directory --keep-last

脚本特点：

• 使用MD5哈希确保内容完全一致
• 支持递归扫描子目录
• 提供干运行模式避免误删
• 可选的保留策略

注意：运行前建议先用--dry-run参数检查结果，确认无误后再实际删除。

一句话建议：先干运行确认结果，再实际删除。

前几年因为更换手机 /刷机等等，造成 iPhoto 的图库多有重复，也尝试自己写 py 和 sqlite 来去重，搞了一半，然后就烂尾了…