在 Scrapy 中，如何让 yield Request(url, callback) 中的 callback 函数执行完成后才执行其后的 Python 代码？

在Scrapy里，yield Request(url, callback) 后面的代码会在发出请求后立即执行，这是异步框架的正常行为。如果你想让callback处理完再执行后续逻辑，得把后续代码移到callback函数里。

比如，你想先爬详情页，再处理数据，可以这样：

import scrapy

class MySpider(scrapy.Spider):
    name = 'example'
    start_urls = ['http://example.com/list']

    def parse(self, response):
        # 提取列表页链接
        detail_links = response.css('a.detail::attr(href)').getall()
        for link in detail_links:
            # 把后续处理逻辑都放到callback里
            yield scrapy.Request(
                url=response.urljoin(link),
                callback=self.parse_detail_and_continue
            )

    def parse_detail_and_continue(self, response):
        # 这里是原来的callback逻辑
        item = {
            'title': response.css('h1::text').get(),
            'url': response.url
        }
        
        # 这里放原来在yield Request后面想执行的代码
        self.logger.info(f'处理完 {response.url}')
        # 可以继续yield更多请求或处理
        # yield scrapy.Request(...)
        
        yield item

如果callback里还有异步请求，同样道理，继续把代码往更深层的callback里放。Scrapy就是这么个“回调套回调”的玩法。

总结：把后续代码挪到callback函数里。

请参考：
https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/0014317799226173f45ce40636141b6abc8424e12b5fb27000

如果一个函数定义中包含 yield 关键字，那么这个函数就不再是一个普通函数，而是一个 generator：

这里，最难理解的就是 generator 和函数的执行流程不一样。函数是顺序执行，遇到 return 语句或者最后一行函数语句就返回。而变成 generator 的函数，在每次调用 next()的时候执行，遇到 yield 语句返回，再次执行时从上次返回的 yield 语句处继续执行。

所以直接用啃 scrapy 的方法来学 python 不是个好选择，这个坑我也掉过，就是看教程的时候完全是表面上的理解生成器的概念，一用起来就傻了，必须得动手写几个才能彻底明白

scrapy 是异步的，reuqest 请求也是放进队列的