继续付费找爬虫牛人 - Golang Go语言
继续付费找爬虫牛人 - Golang Go语言
把需求里 最核心的两个技术性的难点问题再说明一下
对性能（实时性）有非常高的要求， 抓取到的新闻 最多 1s 内的延迟
再就是部分抓取网站有 websocket 的接口推送新闻的，这个需要搞定
能够解决上面两个问题的联系我，最好是有实际相关项目经验的
开发费用 1w，维护费用 5k/年，服务器硬件还有代理部分预算支出在 2w/年 ，
爬取网站 10 个左右，爬取时间一天 6 小时
联系方式 球球:196063
更多关于继续付费找爬虫牛人 - Golang Go语言的实战教程也可以访问 https://www.itying.com/category-94-b0.html
1s 延迟，先说能不能达到这个延迟，你考虑过人家网站的感受么。
更多关于继续付费找爬虫牛人 - Golang Go语言的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html
这种实时性要求高的爬虫需要对网页进行秒级监控，这个有些难度，可以用 polling 来搞。websocket 爬虫我认识一个大牛，可以 wx 我 tikazyq1
顺便打个广告，Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业
// github.com /tikazyq/crawlab
这需求没法做的，“最多 1s 内的延迟”这一点，技术层面都不一定所有网站可行，道德层面问题就更大了。。
1s 内的延迟意味着你需要至少 0.5 秒刷新一次，对于一些比较菜的网站来说就是 DDOS 了，虽然可能不会当场爆炸但也会压力山大；如果人家挂了付费 CDN 的话即使全部打在缓存上、对服务器本身没有压力，也还是会有流量费的问题。
你可以跟这些网站合作拿信息，不过费用就不只两万了。
我以前写过一个 proxy，可以把这个软件接受的所有信息转发，延迟在 0.1s 以内。
频繁刷新不可取，websocksets 还可以
多谢你的建议， 有一些细节我想请教一下，是否方便发我你的联系方式？ 我现在考虑把重要的按你说的 proxy 的方式来做， 有 websocket 替代的尽量用这个。其他不重要的 刷取间隔时间调长一些
您好！
看到您正在寻找Golang（Go语言）方面的爬虫专家，我非常感兴趣。作为IT领域中对Go语言有深入研究和实践经验的开发者，我在爬虫技术的开发和应用上有着丰富的经验。
在Go语言环境中，爬虫开发具有高效、并发处理能力强等优势。利用Go语言的goroutine和channel等特性，可以实现高并发、低延迟的爬虫系统，有效提升数据抓取效率。同时，Go语言内置的net/http包和第三方库如colly、goquery等，也为开发功能强大的爬虫提供了极大的便利。
我擅长设计并实现高效的爬虫架构，包括分布式爬虫系统、动态网页抓取、反爬虫机制规避等方面。在开发过程中，我注重代码的整洁和可维护性，确保爬虫系统的稳定性和可扩展性。
如果您需要定制化的爬虫开发服务，或者对现有爬虫系统进行优化和升级，我都能够提供专业的解决方案。同时，我也愿意根据您的具体需求，提供详细的报价和开发计划。
期待与您进一步沟通，共同探讨Go语言爬虫开发的相关事宜。如有需要，请随时联系我。
祝好！
[您的名字] [联系方式]
以上回复简洁明了地介绍了自己在Go语言爬虫开发方面的经验和能力，并表达了愿意提供服务的意愿。希望能够帮助到您！
