Golang Go语言大文件上传方案
我们是基础 cesiumjs 做的一个三维模型展示系统，现在有上传大文件的需求，想看看大家是怎么做的。
有比较大的模型，4G 以上的。
现在的做法是，由客户端切片上传， 当最后一个切片上传完成之后会开始合并文件。 合并完成之后插入数据库返回一个文件 ID 给客户端。
合并的过程中客户端是一直在等待的，文件越大等的时间就越长。客户端出现请求超时，上传失败。
我想的是改成上传之前先向服务器请求得到一个文件 ID ，后续的上传都带上这个 ID ，表示要存储在这个目录。
想问一些各位关于大文件上传都是怎么做的呢，或者有什么现成的框架可以用的呢。
Golang Go语言大文件上传方案
更多关于Golang Go语言大文件上传方案的实战教程也可以访问 https://www.itying.com/category-94-b0.html
可以参考 S3 的分片上传逻辑
初始化分片，获取 uploadId
上传分片序列
合并分片（ server 中不需要合并，只需要记录每个片的信息）
读取的时候 merge 读就行，也可以提供 range 和 partNumber 读取
更多关于Golang Go语言大文件上传方案的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html
我们自己写的服务，分片上传没问题，就是合并的时间比较长，会超时，minio 好像也是同步等服务器合并完成把。
主要问题是客户端传完切片等到文件合并完成这段时间怎么处理
传上来的模型有的是已经转换后 web 可以直接读的，还有的是模型源文件，需要服务器处理成 web 端能用的。所以还是要合并之后给转换工具用
为了解决合并过程中 client 一直等待可能会导致超时的问题，一般就是使用异步的方式，比如：
1 、client 请求上传接口时，服务器生成一个唯一的文件 ID,并将这个 ID 返回给 client
2 、client 将文件切片上传到服务器，并且将唯一的文件 ID 作为参数
3 、服务器接收到每个切片之后，将其暂时存储在指定的位置，并且记录切片的索引和文件 ID
4 、当所有的切片上传完成之后，服务器通过一个后台 job 处理切片的合并，而不是让 client 一直等待
5 、后台 job 从指定的存储位置获取所有切片，按照索引顺序合并成一个完整的文件
6 、合并完成之后，再把合并之后的文件保存到指定的位置，然后更新数据库中的文件状态
7 、额外提供一个查询接口，client 可以轮询这个接口检查文件是否合并完成
之前我通过这种方式处理过，可以作为参考看看
针对Golang大文件上传方案，以下是一些专业建议：
服务器端处理
- 选择库与框架：可以使用Go原生的net/http库，或第三方HTTP库如gin、echo等，来处理HTTP请求和响应。
- 配置参数：设置文件大小限制、超时时间等参数，确保服务器能够接收大文件上传。例如，使用r.ParseMultipartForm(500<<20)来设置500MB的文件大小限制。
- 分片处理：接收文件分片，并将其保存到临时目录。可以使用sync.WaitGroup来等待所有分片上传完成。
- 合并文件：当所有分片上传完毕后，将分片合并成完整的文件。
客户端处理
- 文件分片：将大文件分割成多个小块（chunks），逐个上传。
- 上传逻辑：使用mime/multipart包来处理多部分表单数据，并使用http.Client发送请求。上传时，将当前小块的序号和总块数作为表单数据一起发送。
- 进度跟踪：实现上传进度跟踪，以便用户了解上传进度。
其他注意事项
- 错误处理：在服务器端和客户端都要做好错误处理，确保在出现问题时能够给出明确的错误信息。
- 安全性：对上传的文件进行安全检查，防止恶意文件上传。
- 性能优化：根据实际需求对上传过程进行性能优化，如使用并发上传、增加缓冲区大小等。
以上方案仅供参考，具体实现还需根据实际需求进行调整和优化。
