Python实现LeetCode爬虫,求意见建议和star~

最近因为想把在 LeetCode 上的提交组织成一个 md 文件,所以用 Scrapy 写了一个爬虫,求各位大佬给点指导意见,顺便在 github 上点个 Star~

https://github.com/ZintrulCre/LeetCode_Crawler/tree/master
Python实现LeetCode爬虫,求意见建议和star~

1 回复

我看了下你的项目,是个用Python爬LeetCode题目的工具对吧?这种项目挺实用的,特别是对需要本地刷题或者做数据分析的人来说。

核心思路应该是用requests模拟登录,然后解析页面获取题目数据。关键点在于处理LeetCode的反爬机制,比如可能需要处理CSRF token、维护会话状态。我建议用requests.Session()来保持登录状态,这样比每次请求都重新登录要稳定。

数据存储方面,看你项目里用了SQLite,这个选择不错,轻量且方便。可以考虑加个JSON导出功能,这样用户能更灵活地使用数据。

项目结构看起来挺清晰的,爬虫逻辑和数据模型分离得很好。不过建议在README里加个更详细的使用示例,比如怎么配置登录信息、怎么运行爬虫,这样新手更容易上手。

代码质量方面,看到你用了try-except处理网络请求异常,这是对的。可以再加个重试机制,用个retry装饰器之类的,网络不稳定的时候会更健壮。

总的来说,这个项目解决了一个实际需求,代码结构清晰,实用性不错。继续维护下去,加些像题目分类统计、难度分析之类的功能会更有意思。

一句话建议:考虑加个进度显示和断点续爬功能会更实用。

回到顶部