Python中如果有33W行文字，如何进行高效去重？

直接上代码，用生成器配合集合来搞，内存占用小，速度也快。

def deduplicate_large_file(input_file_path, output_file_path):
    """
    对大文件进行逐行去重
    :param input_file_path: 输入文件路径
    :param output_file_path: 输出文件路径
    """
    seen = set()
    
    with open(input_file_path, 'r', encoding='utf-8') as infile, \
         open(output_file_path, 'w', encoding='utf-8') as outfile:
        
        for line in infile:
            # 去除行尾换行符，避免换行符差异导致去重失败
            cleaned_line = line.rstrip('\n')
            
            if cleaned_line not in seen:
                seen.add(cleaned_line)
                outfile.write(line)  # 写入原始行，保留原始换行符

# 使用示例
if __name__ == "__main__":
    input_file = "your_330k_lines.txt"  # 替换为你的输入文件路径
    output_file = "deduplicated_output.txt"  # 替换为你的输出文件路径
    
    deduplicate_large_file(input_file, output_file)
    print(f"去重完成！原始文件: {input_file}, 输出文件: {output_file}")

关键点解析：

1. 生成器逐行读取：for line in infile 一次只读一行到内存，33万行完全没问题。
2. 集合查重：seen = set() 用哈希表实现O(1)时间复杂度的查找，比列表快几个数量级。
3. 内存优化：只存储字符串内容（cleaned_line），不存整行，进一步节省内存。
4. 保留格式：outfile.write(line) 写入原始行，保持原有换行符格式。

如果文件更大（比如上亿行），可以考虑分块处理或者用布隆过滤器，但33万行这个方案绰绰有余。

一句话建议：用集合+生成器逐行处理，兼顾速度和内存。

除了 hash，还可以考虑用排序的方法来做
如果 33w 仅仅是代表大（内存不允许）的话，还可以考虑利用一些磁盘排序的算法

如果楼主的数据是在 window 下面呢，没有 linux 的机子或者数据量大拷不进 linux 的虚拟机。