Python3 写爬虫的实践与经验分享

我最近也在用Python3写爬虫，分享点实战经验。

核心库选择：

• requests + BeautifulSoup：适合静态页面，简单直接
• Scrapy：大型项目首选，自带异步、中间件等完整体系
• aiohttp + asyncio：高并发场景，性能最好

关键代码示例（requests+BeautifulSoup）：

import requests
from bs4 import BeautifulSoup
import time

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

def get_page(url):
    try:
        resp = requests.get(url, headers=headers, timeout=10)
        resp.raise_for_status()
        resp.encoding = resp.apparent_encoding
        return resp.text
    except Exception as e:
        print(f"请求失败: {e}")
        return None

def parse_html(html):
    if not html:
        return []
    
    soup = BeautifulSoup(html, 'lxml')
    items = []
    
    # 假设抓取文章标题和链接
    for article in soup.select('.article-list li'):
        title = article.select_one('h3 a').text.strip()
        link = article.select_one('h3 a')['href']
        items.append({'title': title, 'link': link})
    
    return items

# 使用示例
if __name__ == '__main__':
    url = 'https://example.com/news'
    html = get_page(url)
    if html:
        data = parse_html(html)
        for item in data[:5]:  # 只打印前5条
            print(f"标题: {item['title']}")
            print(f"链接: {item['link']}\n")
    time.sleep(1)  # 礼貌延迟

实战要点：

1. 反爬应对：随机User-Agent、代理IP池、请求间隔
2. 数据解析：优先用CSS选择器，xpath备用
3. 异常处理：网络超时、解析失败都要有兜底
4. 存储选择：小数据用JSON/CSV，大量数据直接入数据库
5. 遵守robots.txt：别给人家服务器添乱

异步爬虫简单示例：

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as resp:
        return await resp.text()

async def main(urls):
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        return await asyncio.gather(*tasks)

# 运行：asyncio.run(main(url_list))

个人建议：从requests开始练手，熟悉了再上Scrapy框架。

requests 挺好的