Python中如何优化Django并发下载图片的性能

这个问题我遇到过。Django处理并发下载图片性能瓶颈主要在I/O等待上，用同步请求会阻塞整个进程。

核心思路是把同步阻塞改成异步非阻塞。我推荐用aiohttp配合asyncio，这样可以在单个线程里并发处理多个下载请求。

import aiohttp
import asyncio
from django.http import JsonResponse
from django.views import View
import os

class AsyncDownloadView(View):
    async def get(self, request):
        image_urls = request.GET.getlist('urls')  # 获取多个图片URL
        
        if not image_urls:
            return JsonResponse({'error': 'No URLs provided'}, status=400)
        
        # 并发下载所有图片
        images_data = await self.download_images_concurrently(image_urls)
        
        # 这里可以添加保存到本地或数据库的逻辑
        # save_images_locally(images_data)
        
        return JsonResponse({
            'downloaded_count': len(images_data),
            'total_urls': len(image_urls)
        })
    
    async def download_images_concurrently(self, urls):
        """并发下载多个图片"""
        async with aiohttp.ClientSession() as session:
            tasks = [self.fetch_image(session, url) for url in urls]
            results = await asyncio.gather(*tasks, return_exceptions=True)
        
        # 过滤掉下载失败的（返回异常的）
        return [result for result in results if not isinstance(result, Exception)]
    
    async def fetch_image(self, session, url):
        """下载单个图片"""
        try:
            async with session.get(url, timeout=10) as response:
                if response.status == 200:
                    return {
                        'url': url,
                        'data': await response.read(),
                        'content_type': response.headers.get('Content-Type', '')
                    }
                return None
        except Exception as e:
            print(f"Failed to download {url}: {e}")
            return None

# 在urls.py中配置
# from django.urls import path
# from .views import AsyncDownloadView
# 
# urlpatterns = [
#     path('download-images/', AsyncDownloadView.as_view(), name='download_images'),
# ]

关键点：

1. 用asyncio.gather()同时发起所有下载请求，而不是一个个顺序下载
2. aiohttp的异步HTTP客户端不会阻塞事件循环
3. 设置合理的超时时间避免长时间等待

如果图片数量特别大，可以考虑分批处理，比如每批50个URL，用asyncio.Semaphore控制并发数。

另外，如果下载的图片需要保存，建议用异步文件操作库如aiofiles，避免阻塞在磁盘I/O上。

用异步的方式能让你的Django应用在等待网络响应时继续处理其他请求，显著提升并发性能。

总结：用异步非阻塞代替同步阻塞。