Python中如何为P2P数据分析添加爬虫功能

我理解你想在P2P数据分析项目中集成爬虫功能。这通常涉及几个关键步骤，我直接给你一个实用的实现方案：

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
import json
from typing import List, Dict, Optional
import logging

class P2PDataCrawler:
    def __init__(self, base_url: str, headers: Optional[Dict] = None):
        self.base_url = base_url
        self.headers = headers or {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
        }
        self.session = requests.Session()
        self.logger = logging.getLogger(__name__)
    
    def fetch_page(self, url: str) -> Optional[str]:
        """获取网页内容"""
        try:
            response = self.session.get(url, headers=self.headers, timeout=10)
            response.raise_for_status()
            return response.text
        except requests.RequestException as e:
            self.logger.error(f"请求失败: {url}, 错误: {e}")
            return None
    
    def parse_p2p_data(self, html: str) -> List[Dict]:
        """解析P2P数据 - 需要根据实际网站结构调整"""
        soup = BeautifulSoup(html, 'html.parser')
        data_list = []
        
        # 示例：假设数据在表格中
        table = soup.find('table', {'class': 'data-table'})
        if not table:
            return data_list
        
        rows = table.find_all('tr')[1:]  # 跳过表头
        for row in rows:
            cols = row.find_all('td')
            if len(cols) >= 4:
                data = {
                    'platform': cols[0].text.strip(),
                    'interest_rate': cols[1].text.strip(),
                    'term': cols[2].text.strip(),
                    'amount': cols[3].text.strip(),
                    'timestamp': pd.Timestamp.now()
                }
                data_list.append(data)
        
        return data_list
    
    def crawl_multiple_pages(self, page_count: int = 5) -> pd.DataFrame:
        """爬取多页数据"""
        all_data = []
        
        for page in range(1, page_count + 1):
            url = f"{self.base_url}?page={page}"
            self.logger.info(f"正在爬取第 {page} 页: {url}")
            
            html = self.fetch_page(url)
            if html:
                page_data = self.parse_p2p_data(html)
                all_data.extend(page_data)
            
            time.sleep(1)  # 礼貌性延迟
        
        return pd.DataFrame(all_data)
    
    def save_data(self, df: pd.DataFrame, filename: str):
        """保存数据到文件"""
        if filename.endswith('.csv'):
            df.to_csv(filename, index=False, encoding='utf-8-sig')
        elif filename.endswith('.json'):
            df.to_json(filename, orient='records', force_ascii=False)
        else:
            df.to_excel(filename, index=False)
        
        self.logger.info(f"数据已保存到: {filename}")

# 使用示例
if __name__ == "__main__":
    # 配置日志
    logging.basicConfig(level=logging.INFO)
    
    # 创建爬虫实例
    crawler = P2PDataCrawler(
        base_url="https://example-p2p-platform.com/data"
    )
    
    # 爬取数据
    df = crawler.crawl_multiple_pages(page_count=3)
    
    # 显示数据
    print(f"爬取到 {len(df)} 条记录")
    print(df.head())
    
    # 保存数据
    crawler.save_data(df, "p2p_data.csv")

关键点说明：

1. 请求处理：使用requests.Session()保持会话，添加适当的请求头避免被屏蔽
2. 数据解析：parse_p2p_data方法需要根据目标网站的实际HTML结构进行调整
3. 错误处理：包含基本的异常捕获和日志记录
4. 礼貌爬取：添加time.sleep()避免对服务器造成压力
5. 数据存储：支持CSV、JSON、Excel多种格式

集成到现有项目的建议：

• 将爬虫类作为独立模块导入
• 设置定时任务（如使用APScheduler）定期更新数据
• 添加数据验证和清洗逻辑
• 考虑使用代理IP池应对反爬措施

一句话总结： 核心是定制parse_p2p_data方法匹配目标网站结构，然后按需调度爬取。