Python中如何高效清洗列表和字典数据？

def clean_list(data_list, remove_values=[None, '', 0], deduplicate=True):
    """
    清洗列表数据
    
    参数:
    data_list: 待清洗的列表
    remove_values: 需要移除的值列表，默认移除None、空字符串和0
    deduplicate: 是否去重，默认为True
    
    返回:
    清洗后的列表
    """
    # 移除指定值
    cleaned = [item for item in data_list if item not in remove_values]
    
    # 去重（保持顺序）
    if deduplicate:
        seen = set()
        cleaned = [item for item in cleaned if not (item in seen or seen.add(item))]
    
    return cleaned

def clean_dict(data_dict, remove_keys=[], remove_values=[None, '', 0], deep_clean=False):
    """
    清洗字典数据
    
    参数:
    data_dict: 待清洗的字典
    remove_keys: 需要移除的键列表
    remove_values: 需要移除的值列表
    deep_clean: 是否深度清洗嵌套结构
    
    返回:
    清洗后的字典
    """
    cleaned = {}
    
    for key, value in data_dict.items():
        # 跳过需要移除的键
        if key in remove_keys:
            continue
            
        # 深度清洗嵌套结构
        if deep_clean:
            if isinstance(value, list):
                value = clean_list(value, remove_values)
            elif isinstance(value, dict):
                value = clean_dict(value, remove_keys, remove_values, deep_clean)
        
        # 跳过需要移除的值
        if value not in remove_values:
            cleaned[key] = value
    
    return cleaned

# 使用示例
if __name__ == "__main__":
    # 测试列表清洗
    dirty_list = [1, 2, None, 3, '', 2, 0, 4]
    print("原始列表:", dirty_list)
    print("清洗后:", clean_list(dirty_list))
    
    # 测试字典清洗
    dirty_dict = {
        'name': 'Alice',
        'age': None,
        'scores': [85, None, 90, 0, 85],
        'empty': '',
        'nested': {'a': 1, 'b': None, 'c': [None, 2]}
    }
    print("\n原始字典:", dirty_dict)
    print("清洗后:", clean_dict(dirty_dict, deep_clean=True))

核心思路就是通过列表推导式和字典推导式进行过滤，配合递归处理嵌套结构。对于列表主要处理空值和去重，字典则处理无效键值对和嵌套数据。

建议：根据实际数据特点调整移除的值列表。

百分比很好统计:

ret = {}
for i in l:
…if not ret.get(i[‘type’]):
…ret[i[‘type’]] = 0
…ret.get(i[‘type’]) +=1

基本上在不知道 type 有多少的情况下也能轻松统计