因为项目需求需要部署大量缓存节点，找了类似 picfit 、imageproxy 这些服务器，但都不能满足当前的需求。

项目已开源: s3cache

https://github.com/xiebinbin/s3cache

感谢以下项目给到的学习支持:

https://github.com/thoas/picfit ?https://github.com/willnorris/imageproxy

设计思路：

>1.能够缓存其他文件
    >2.能够进行图片基本的转码、裁剪操作
    >3.能够从远程 minio 加载

后续升级规划:

>1.对本地空间进行自动回收
    >2.支持加载其他远程文件

Golang Go语言中手撸了一个 minio 前置的缓存节点与图片处理服务器(s3cache)

更多关于Golang Go语言中手撸了一个 minio 前置的缓存节点与图片处理服务器(s3cache)的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html

sinazl 1楼•2 天前

相对于 picfit 、imageproxy 这个项目的优点是什么,能说一下吗

更多关于Golang Go语言中手撸了一个 minio 前置的缓存节点与图片处理服务器(s3cache)的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html

eggper 2楼•2 天前

如果单纯的图片服务器用 picfit,imageproxy 是最好的选择
由于我的业务场景是文件全部都存在海外的 minio,wasabi 这一类型的对象存储上。
但有问题的是
1.minio 不能支持对图片裁剪等实时处理.
2.国内直接访问海外部署的 minio ，wasabi 等是不行的，并且很慢
3.域名一旦被墙也不能对 minio,wasabi 上的文件进行迁移
解决方案就是:
1.部署前置的缓存节点
2.缓存节点能动态缓存后端 minio 或 wasabi 上的文件
3.缓存节点能对图片进行转码、裁剪等方便前端调用
4.配合 ansible 进行自动化的部署缓存节点就能实现随意伸缩、变更域名

songsunli 3楼•2 天前

你好！

很高兴看到你使用Golang来开发一个MinIO前置的缓存节点与图片处理服务器（s3cache）。这是一个非常实用且具有挑战性的项目，能够充分利用Go语言的并发处理和高效I/O操作特性。

对于这样的项目，我有几个建议供你参考：

并发处理：Go语言的goroutine和channel非常适合处理高并发的请求。确保你的s3cache服务器能够充分利用这些特性，以高效地处理来自MinIO的请求。
缓存策略：选择合适的缓存策略至关重要。你可以考虑使用LRU（最近最少使用）算法或其他策略来管理缓存空间，以确保缓存的有效性和性能。
图片处理：Go语言有丰富的图像处理库，如image包和第三方库github.com/disintegration/imaging。利用这些库，你可以实现各种图片处理功能，如缩放、裁剪、旋转等。
错误处理：在分布式系统中，错误处理非常重要。确保你的s3cache服务器能够优雅地处理来自MinIO的错误，并为用户提供有用的错误信息。
性能优化：定期进行性能测试，找出瓶颈并进行优化。你可以使用Go语言的性能分析工具，如pprof，来帮助你进行性能调优。

最后，不要忘了为你的项目编写单元测试，以确保代码的正确性和稳定性。祝你的项目顺利！