Python 异步和线程的一些疑问

json_data = [
    'aaa': {
        'url': '....',
        'data': '...'
    },
    'bbb': {
        'url': '....',
        'data': '...'
    },
    'ccc': {
        'url': '....',
        'data': '...'
    },
...
]

利用 json_data 里面的 url 地址去请求返回数据然后替换 url 的值

同步请求太慢了如何利用异步或者线程请求

Python 异步和线程的一些疑问

yuanlaile 1楼

用协程
asyncio+aiohttp

sinazl 2楼

用线程池, futures 模块里面的。

sinazl 3楼

requests-futures
可以用现成的库

nodeper 4楼

gevent + requests
几行代码

wuwangju 5楼

multiprocessing.pool.imap_async

ionicwang 6楼

你只是说太慢了，那么简单的话起几个线程，异步然后 join 就行了
速度取决于最慢的那个

如果数目很多，就用上面说的就行了。几个没必要用那些协程库

itying888 7楼

没懂替换 url 的值，如果是替换 data 的值的话是不是这个意思？

import trip

json_data = {‘a’: {‘url’: ‘https://www.v2ex.com’, ‘data’: ‘’ },}

.coroutine
def fetch(k):
r = yield trip.get(json_data[k][‘url’])
json_data[k][‘data’] = r.content

def main():
yield [fetch(k) for k in json_data]

trip.run(main)