Python实现方正教务系统爬虫过程中遇到的坑与解决方案

我做过类似的爬虫，方正教务系统确实有不少坑。主要问题集中在登录验证、动态参数和Session管理上。

1. 登录验证码处理 方正系统通常有验证码，需要先获取session再识别：

import requests
from PIL import Image
import pytesseract

session = requests.Session()
# 先获取验证码图片
captcha_url = "http://jwxt.example.com/verifycode.servlet"
response = session.get(captcha_url)
with open('captcha.jpg', 'wb') as f:
    f.write(response.content)

# OCR识别（准确率不高，建议手动输入）
captcha = input("请输入验证码：")

2. 动态参数问题 登录时需要提交一堆隐藏参数，得先解析登录页：

from bs4 import BeautifulSoup

login_url = "http://jwxt.example.com/login.jsp"
resp = session.get(login_url)
soup = BeautifulSoup(resp.text, 'html.parser')

# 提取隐藏字段
hidden_inputs = soup.find_all('input', {'type': 'hidden'})
form_data = {inp['name']: inp['value'] for inp in hidden_inputs}

# 添加账号密码和验证码
form_data.update({
    'zjh': '你的学号',
    'mm': '你的密码',
    'v_yzm': captcha
})

3. Session保持 登录后要维持session，所有后续请求都要用同一个session对象：

# 登录
login_post_url = "http://jwxt.example.com/loginAction.do"
session.post(login_post_url, data=form_data)

# 后续请求都用这个session
grade_url = "http://jwxt.example.com/gradeQuery.do"
grades = session.get(grade_url)

4. 编码问题 遇到乱码时设置编码：

resp.encoding = 'gbk'  # 或'utf-8'，具体看网页meta标签

5. 超时和重试 网络不稳定时加个重试机制：

from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

retry_strategy = Retry(total=3, backoff_factor=1)
adapter = HTTPAdapter(max_retries=retry_strategy)
session.mount("http://", adapter)
session.mount("https://", adapter)

总结：关键是处理好session和动态参数。

难怪旧版的教务系统，一到选课的时候就崩了。

emmm …青果的事返回的是绘制的图…而且加了躁点…

新版的直接是 json 数据了，一下子减少了很多代码量