Python中如何爬取学术论文数据？求助相关问题

要爬取学术论文数据，主要得选对目标网站和工具。常用的有arXiv、PubMed、Google Scholar（注意反爬）、知网等。这里给个arXiv的完整例子：

import requests
import feedparser
import pandas as pd
from time import sleep

def fetch_arxiv_papers(query, max_results=10):
    """从arXiv API获取论文数据"""
    base_url = "http://export.arxiv.org/api/query"
    params = {
        'search_query': query,
        'start': 0,
        'max_results': max_results,
        'sortBy': 'submittedDate',
        'sortOrder': 'descending'
    }
    
    response = requests.get(base_url, params=params)
    feed = feedparser.parse(response.content)
    
    papers = []
    for entry in feed.entries:
        paper = {
            'title': entry.title,
            'authors': ', '.join(author.name for author in entry.authors),
            'published': entry.published,
            'summary': entry.summary[:200] + '...' if len(entry.summary) > 200 else entry.summary,
            'pdf_link': next((link.href for link in entry.links if link.type == 'application/pdf'), None),
            'arxiv_id': entry.id.split('/')[-1]
        }
        papers.append(paper)
        sleep(0.5)  # 礼貌性延迟
    
    return pd.DataFrame(papers)

# 使用示例
if __name__ == "__main__":
    # 搜索机器学习相关论文
    df = fetch_arxiv_papers("cat:cs.LG", max_results=5)
    print(f"获取到 {len(df)} 篇论文")
    print(df[['title', 'authors', 'published']].head())
    
    # 保存到CSV
    df.to_csv('arxiv_papers.csv', index=False, encoding='utf-8-sig')

关键点：

1. arXiv API直接提供结构化数据，比爬网页简单
2. feedparser解析Atom/RSS格式很方便
3. 加了sleep避免请求过快
4. 数据存成DataFrame方便后续处理

其他网站可能需要用requests+BeautifulSoup或者Selenium。PubMed有E-utilities API，知网这类商业数据库需要特别注意版权和反爬措施。

简单说就是先找官方API，没有再用爬虫工具，注意遵守robots.txt。