怎么在 PyCharm 里编写 Python pyspider 的代码

在PyCharm里写pyspider代码和写普通Python项目差不多，主要就是配置好环境和项目结构。

首先确保你装了pyspider：

pip install pyspider

然后在PyCharm里新建Python项目，创建你的爬虫文件，比如my_spider.py：

from pyspider.libs.base_handler import *


class Handler(BaseHandler):
    crawl_config = {
        'headers': {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
        }
    }

    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://example.com', callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('a[href^="http"]').items():
            self.crawl(each.attr.href, callback=self.detail_page)

    def detail_page(self, response):
        return {
            "url": response.url,
            "title": response.doc('title').text(),
        }

运行的话，你需要先启动pyspider的web界面和调度器：

pyspider

然后在浏览器打开http://localhost:5000，在web界面里创建项目并运行。

如果你想让爬虫在PyCharm里直接运行，可以创建一个运行配置，但说实话pyspider主要还是通过它的web界面来管理和监控爬虫的。

总结：配置好环境，按pyspider的Handler类结构写代码就行。

谢谢