Python中Scrapy在1G内存环境下是否无法发挥工作？
Scrapy 在 1G 内存的环境下是不是无法发挥工作呢？尝试了三次，在运行一段时间（一小时以上)之后就是遇到 OOM。 可能代码逻辑有问题？
# 从一个入口站点入手，获取全部的 a 标签。再然后循环。
for url in response.xpath('//a/@href').extract():
# 存取 title 之类
yield item
yield scrapy.Request(url,callback=self.parse, dont_filter=True)
谢谢指导
Python中Scrapy在1G内存环境下是否无法发挥工作？
15 回复
谢谢啦，
日志方面除了在插入到数据库时会报唯一限制的错误，没有其他关于 scrapy 的报错，最后一次，我盯着它在我眼皮底下直接就被 kill 掉。
/var/log/message 中的记录<br>kernel: Out of memory: Kill process 2454 (scrapy) score 333 or sacrifice child<br>kernel: Killed process 2454 (scrapy) total-vm:999536kB, anon-rss:346860kB, file-rss:1176kB, shmem-rss:0kB<br>
