SeaweedFS (Seaweed File System) 使用指南

SeaweedFS 是一个简单且高度可扩展的分布式文件系统，专为处理大量小文件而设计。它具有以下特点：

• 低延迟的文件访问
• 高吞吐量
• 自动主从复制
• 自动压缩
• 支持云存储后端

安装 SeaweedFS

通过二进制安装

# 下载最新版本
wget https://github.com/chrislusf/seaweedfs/releases/download/3.57/linux_amd64.tar.gz
tar -xzvf linux_amd64.tar.gz

通过 Docker 安装

docker run -p 9333:9333 -p 8080:8080 chrislusf/seaweedfs server

基本组件

1. Master Server: 管理文件元数据
2. Volume Server: 存储实际文件数据
3. Filer: 提供 POSIX 文件系统接口

快速启动

启动 master 服务器和 volume 服务器：

# 启动 master
weed master -mdir="/tmp/mdata" -defaultReplication="001" -ip="localhost" -port=9333

# 启动 volume
weed volume -dir="/tmp/vdata" -max=5 -mserver="localhost:9333" -ip="localhost" -port=8080

Go 客户端使用示例

安装 Go 客户端库

go get github.com/chrislusf/seaweedfs/go

文件上传示例

package main

import (
	"fmt"
	"log"
	"os"

	"github.com/chrislusf/seaweedfs/go/operation"
	"github.com/chrislusf/seaweedfs/go/storage"
)

func main() {
	// 连接到 SeaweedFS master
	master := "localhost:9333"

	// 上传文件
	file, err := os.Open("test.txt")
	if err != nil {
		log.Fatal(err)
	}
	defer file.Close()

	// 分配文件ID
	assignResult, err := operation.Assign(master, &storage.AssignRequest{
		Count: 1,
	})
	if err != nil {
		log.Fatal(err)
	}

	// 上传文件内容
	uploadResult, err := operation.Upload(
		fmt.Sprintf("http://%s", assignResult.Url),
		assignResult.Fid,
		file,
		false,
		"",
		nil,
	)
	if err != nil {
		log.Fatal(err)
	}

	fmt.Printf("File uploaded successfully. FID: %s\n", uploadResult.Fid)
}

文件下载示例

package main

import (
	"fmt"
	"io"
	"log"
	"os"

	"github.com/chrislusf/seaweedfs/go/operation"
)

func main() {
	master := "localhost:9333"
	fid := "3,01637037d6" // 替换为实际的文件ID

	// 查找文件位置
	lookupResult, err := operation.Lookup(master, fid)
	if err != nil {
		log.Fatal(err)
	}

	// 下载文件
	reader, err := operation.Download(
		fmt.Sprintf("http://%s", lookupResult.Locations[0].Url),
		fid,
		nil,
	)
	if err != nil {
		log.Fatal(err)
	}
	defer reader.Close()

	// 保存到本地文件
	file, err := os.Create("downloaded.txt")
	if err != nil {
		log.Fatal(err)
	}
	defer file.Close()

	_, err = io.Copy(file, reader)
	if err != nil {
		log.Fatal(err)
	}

	fmt.Println("File downloaded successfully")
}

高级功能

1. 复制策略

SeaweedFS 支持多种复制策略：

• 000: 无复制
• 001: 在相同 rack 上复制一次
• 010: 在不同 rack 上复制一次
• 100: 在不同数据中心复制一次
• 200: 在两个不同数据中心各复制一次

2. 使用 Filer

Filer 提供类似传统文件系统的目录结构：

package main

import (
	"fmt"
	"log"

	"github.com/chrislusf/seaweedfs/go/filer"
)

func main() {
	filerServer := "localhost:8888"
	client := filer.NewFilerClient(filerServer)

	// 列出目录
	entries, err := client.ListDirectoryEntries("/")
	if err != nil {
		log.Fatal(err)
	}

	for _, entry := range entries {
		fmt.Printf("%s (%d bytes)\n", entry.Name, entry.FileSize)
	}
}

3. 大文件分块上传

package main

import (
	"fmt"
	"log"
	"os"

	"github.com/chrislusf/seaweedfs/go/operation"
	"github.com/chrislusf/seaweedfs/go/storage"
)

func uploadLargeFile(master, filename string) error {
	file, err := os.Open(filename)
	if err != nil {
		return err
	}
	defer file.Close()

	// 分配多个文件ID
	assignResult, err := operation.Assign(master, &storage.AssignRequest{
		Count:       10, // 预分配10个文件ID
		Replication: "001",
	})
	if err != nil {
		return err
	}

	// 分块上传
	chunkSize := 1024 * 1024 * 5 // 5MB每块
	buffer := make([]byte, chunkSize)
	for i := 0; ; i++ {
		n, err := file.Read(buffer)
		if err != nil && err != io.EOF {
			return err
		}
		if n == 0 {
			break
		}

		// 使用预分配的文件ID中的一个
		if i >= len(assignResult.Fids) {
			return fmt.Errorf("not enough pre-assigned FIDs")
		}

		_, err = operation.Upload(
			fmt.Sprintf("http://%s", assignResult.Url),
			assignResult.Fids[i],
			bytes.NewReader(buffer[:n]),
			false,
			"",
			nil,
		)
		if err != nil {
			return err
		}
	}

	return nil
}

性能调优

1. 增加 Volume 服务器：提高并行处理能力
2. 调整 chunk 大小：根据文件大小调整
3. 使用 SSD 存储：显著提高 IOPS
4. 合理设置复制策略：平衡可靠性和性能

监控和管理

SeaweedFS 提供内置的管理接口：

• Master 管理界面：http://localhost:9333
• Volume 服务器状态：http://localhost:8080/status
• 集群状态：http://localhost:9333/cluster/status

通过以上介绍和示例代码，您应该能够开始使用 SeaweedFS 构建高性能的分布式文件存储系统。根据实际需求，您可以进一步探索其高级功能和配置选项。