Python记一次爬虫经历

我最近也刚写了个爬虫，爬点公开数据做分析。核心就那几步：

1. requests 发请求拿网页，记得加个 headers 里的 User-Agent，不然容易被拦。
2. BeautifulSoup 或 lxml 解析 HTML，用 CSS 选择器或 XPath 定位你要的数据，比正则表达式省心。
3. 数据存下来，简单的就 json.dump 或 pandas.to_csv。
4. 如果要爬很多页，控制一下请求频率，time.sleep 一下，别把人家服务器搞挂了。

关键点：先看看网站有没有 robots.txt，尊重规则。动态加载的页面得用 Selenium 或 Playwright 这类工具来模拟浏览器。

给你个最简单的例子，爬个静态页面的标题：

import requests
from bs4 import BeautifulSoup

url = 'https://example.com'
headers = {'User-Agent': 'Mozilla/5.0'}
resp = requests.get(url, headers=headers)
soup = BeautifulSoup(resp.text, 'html.parser')
title = soup.title.string
print(f'页面标题是: {title}')

总结：爬虫就是模拟浏览器拿数据，然后解析提取。