使用Skywalker高效并发遍历文件系统

Skywalker是一个Go语言编写的高性能并发文件系统遍历库，特别适合需要快速扫描大量文件的场景。下面我将详细介绍如何使用Skywalker库。

基本用法

首先安装Skywalker库：

go get github.com/dixonwille/skywalker

简单示例

package main

import (
	"fmt"
	"log"
	"os"

	"github.com/dixonwille/skywalker"
)

func main() {
	sw := skywalker.New(os.DirFS("."), func(path string, de fs.DirEntry) error {
		fmt.Println(path)
		return nil
	})

	// 设置并发数
	sw.Threads = 8

	// 开始遍历
	if err := sw.Walk("."); err != nil {
		log.Fatal(err)
	}
}

高级配置

1. 过滤文件

sw := skywalker.New(os.DirFS("."), func(path string, de fs.DirEntry) error {
    info, err := de.Info()
    if err != nil {
        return err
    }
    
    // 只处理大于1MB的文件
    if info.Size() > 1024*1024 {
        fmt.Printf("大文件: %s (%d bytes)\n", path, info.Size())
    }
    return nil
})

// 排除隐藏文件和目录
sw.AddExcludeFunc(func(path string, de fs.DirEntry) bool {
    return strings.HasPrefix(de.Name(), ".")
})

2. 限制遍历深度

// 只遍历3层深度
sw.MaxDepth = 3

3. 错误处理

sw.ErrHandler = func(path string, err error) error {
    if os.IsPermission(err) {
        log.Printf("权限不足: %s", path)
        return nil // 继续处理其他文件
    }
    return err // 返回错误会终止遍历
}

性能优化技巧

1. 合理设置并发数：

   // 根据CPU核心数设置
   sw.Threads = runtime.NumCPU() * 2
   

2. 预分配结果切片（如果需要收集结果）：

   var results []string
   mutex := sync.Mutex{}
   
   sw := skywalker.New(os.DirFS("."), func(path string, de fs.DirEntry) error {
       mutex.Lock()
       defer mutex.Unlock()
       results = append(results, path)
       return nil
   })
   

3. 批量处理：

   const batchSize = 100
   var batch []string
   
   sw := skywalker.New(os.DirFS("."), func(path string, de fs.DirEntry) error {
       batch = append(batch, path)
       if len(batch) >= batchSize {
           processBatch(batch) // 处理批次
           batch = batch[:0]   // 清空批次
       }
       return nil
   })
   

完整示例：查找重复文件

package main

import (
	"crypto/md5"
	"fmt"
	"io"
	"log"
	"os"
	"sync"

	"github.com/dixonwille/skywalker"
)

func main() {
	fileHashes := make(map[string][]string)
	var mutex sync.Mutex

	sw := skywalker.New(os.DirFS("."), func(path string, de fs.DirEntry) error {
		if de.IsDir() {
			return nil
		}

		file, err := os.Open(path)
		if err != nil {
			return err
		}
		defer file.Close()

		hash := md5.New()
		if _, err := io.Copy(hash, file); err != nil {
			return err
		}
		hashSum := fmt.Sprintf("%x", hash.Sum(nil))

		mutex.Lock()
		defer mutex.Unlock()
		fileHashes[hashSum] = append(fileHashes[hashSum], path)
		return nil
	})

	sw.Threads = 8
	if err := sw.Walk("."); err != nil {
		log.Fatal(err)
	}

	// 打印重复文件
	for hash, files := range fileHashes {
		if len(files) > 1 {
			fmt.Printf("重复文件(MD5: %s):\n", hash)
			for _, f := range files {
				fmt.Println("  ", f)
			}
		}
	}
}

注意事项

1. Skywalker使用Go 1.16+的io/fs接口，确保你的Go版本足够新
2. 对于网络文件系统，可能需要调整并发数以获得最佳性能
3. 处理大量小文件时，减少每次处理的耗时是关键
4. 内存使用会随着遍历文件数量增加而增长，对于超大文件系统需要注意

Skywalker通过智能的并发控制和高效的调度算法，可以显著提升文件系统遍历速度，特别适合备份工具、文件索引等应用场景。