Python3爬虫时如何处理网页编码问题？

遇到编码问题确实头疼，直接上干货。核心就两点：优先用response.encoding自动检测，不行就手动指定或chardet兜底。

1. 自动检测（推荐首选）

import requests
r = requests.get('http://example.com')
r.encoding = r.apparent_encoding  # 关键步骤
print(r.text)

apparent_encoding比默认encoding更准，会分析内容推测编码。

2. 手动指定（知道编码时）

r.encoding = 'gb2312'  # 或gbk、utf-8等

3. 用chardet自动检测（复杂情况）

import requests
import chardet

r = requests.get('http://example.com')
# 检测二进制内容的编码
detected = chardet.detect(r.content)
r.encoding = detected['encoding']
print(r.text)

4. 终极方案（处理乱码页面）

import requests
import chardet
from bs4 import BeautifulSoup

r = requests.get('http://example.com')
# 先尝试requests自动检测
r.encoding = r.apparent_encoding

try:
    soup = BeautifulSoup(r.text, 'html.parser')
except:
    # 如果还乱码，用chardet重新检测
    detected = chardet.detect(r.content)
    r.encoding = detected['encoding']
    soup = BeautifulSoup(r.text, 'html.parser')

print(soup.prettify())

总结：先试apparent_encoding，不行上chardet，最后手动指定。