Golang实现大文件上传至StorJ的方法

Golang实现大文件上传至StorJ的方法 在上传大文件时遇到了段错误。

我通过 io.Reader 的 Read 方法以字节块的形式读取了文件数据。现在，我需要将这些字节数据持续上传到 StorJ。

2 回复

你好 Tripti，

你有我们可以查看的代码片段吗？

更多关于Golang实现大文件上传至StorJ的方法的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html


对于大文件上传至StorJ时遇到的段错误，通常是由于内存管理不当或并发问题导致的。以下是一个使用分块上传的示例代码，可以有效避免段错误：

package main

import (
    "context"
    "io"
    "os"
    "storj.io/uplink"
)

const (
    chunkSize = 64 * 1024 * 1024 // 64MB分块
    maxMemory = 128 * 1024 * 1024 // 128MB内存限制
)

func uploadLargeFile(ctx context.Context, project *uplink.Project, bucketName, objectKey, filePath string) error {
    // 打开本地文件
    file, err := os.Open(filePath)
    if err != nil {
        return err
    }
    defer file.Close()

    // 创建上传对象
    upload, err := project.UploadObject(ctx, bucketName, objectKey, nil)
    if err != nil {
        return err
    }
    defer func() {
        if err := upload.Abort(); err != nil {
            // 处理中止错误
        }
    }()

    // 使用缓冲区分块读取和上传
    buffer := make([]byte, chunkSize)
    for {
        n, err := file.Read(buffer)
        if err != nil && err != io.EOF {
            return err
        }
        
        if n == 0 {
            break
        }

        // 上传当前分块
        _, err = upload.Write(buffer[:n])
        if err != nil {
            return err
        }
    }

    // 完成上传
    return upload.Commit()
}

// 使用示例
func main() {
    ctx := context.Background()
    
    // 配置StorJ访问
    access, err := uplink.ParseAccess("your-access-grant-string")
    if err != nil {
        panic(err)
    }

    project, err := uplink.OpenProject(ctx, access)
    if err != nil {
        panic(err)
    }
    defer project.Close()

    err = uploadLargeFile(ctx, project, "my-bucket", "large-file.dat", "/path/to/large-file.dat")
    if err != nil {
        panic(err)
    }
}

关键改进点：

  1. 使用固定大小的缓冲区（64MB）避免内存无限增长
  2. 通过defer upload.Abort()确保资源清理
  3. 分块读取和写入，避免一次性加载整个文件
  4. 明确的错误处理和上下文管理

如果仍然遇到段错误，可以尝试：

  • 减小chunkSize到32MB或16MB
  • 检查系统内存使用情况
  • 使用ulimit -a查看系统资源限制
  • 添加内存分析：import _ "net/http/pprof"
回到顶部