Python中如何用循环爬取未知总页数的网站？

import requests
from bs4 import BeautifulSoup
import time

def crawl_unknown_pages(base_url, start_page=1, max_pages=100):
    """
    爬取未知总页数的网站
    
    参数:
        base_url: 基础URL，需包含{page}占位符
        start_page: 起始页码
        max_pages: 最大爬取页数（防止无限循环）
    """
    page = start_page
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
    }
    
    while page <= max_pages:
        try:
            # 构建当前页URL
            current_url = base_url.format(page=page)
            print(f"正在爬取第 {page} 页: {current_url}")
            
            # 发送请求
            response = requests.get(current_url, headers=headers, timeout=10)
            response.raise_for_status()
            
            # 解析页面
            soup = BeautifulSoup(response.text, 'html.parser')
            
            # 检查是否到达末页（根据实际情况调整）
            if is_last_page(soup):
                print("已到达最后一页")
                break
                
            # 提取数据（这里需要根据实际网站结构调整）
            extract_data(soup)
            
            # 翻页
            page += 1
            
            # 礼貌延迟
            time.sleep(1)
            
        except requests.exceptions.RequestException as e:
            print(f"请求第 {page} 页失败: {e}")
            break
        except Exception as e:
            print(f"处理第 {page} 页时出错: {e}")
            break

def is_last_page(soup):
    """
    判断是否为最后一页
    根据实际网站结构编写判断逻辑
    """
    # 示例1：检查"下一页"按钮是否禁用
    next_button = soup.find('a', text='下一页')
    if next_button and 'disabled' in next_button.get('class', []):
        return True
    
    # 示例2：检查当前页是否为最大页码
    current_page = soup.find('span', class_='current')
    total_pages = soup.find('span', class_='total')
    
    if current_page and total_pages:
        return int(current_page.text) >= int(total_page.text)
    
    # 示例3：检查内容是否为空
    content = soup.find('div', class_='content')
    if content and not content.find_all('div', class_='item'):
        return True
    
    return False

def extract_data(soup):
    """
    提取页面数据的示例函数
    """
    items = soup.find_all('div', class_='item')
    for item in items:
        title = item.find('h2').text.strip() if item.find('h2') else ''
        print(f"标题: {title}")
    # 这里添加你的数据提取逻辑

# 使用示例
if __name__ == "__main__":
    # 示例URL，{page}会被替换为实际页码
    url_template = "https://example.com/list?page={page}"
    crawl_unknown_pages(url_template, start_page=1, max_pages=50)

核心思路就是while循环配合终止条件检测。关键点在于is_last_page()函数，你需要根据目标网站的具体结构来定制判断逻辑。常见的终止条件包括：下一页按钮不可用、到达最大页码、页面内容为空、返回404错误等。

记得设置max_pages防止意外无限循环，加上适当的延迟和异常处理。

总结：用while循环加终止条件判断来爬未知页数。

while 不行啊

楼主，这个可以用二分搜索解决啊。

如果你要爬取所有页面，就写个死循环，一直到 404 或者没东西返回的时候再 break。
如果你只需要确定页数，就可以先倍增再二分，比如 1、2、4、8、16 …… 假如到 1024 的时候没东西，那么页数就在 512-1024 之间，然后在这个区间二分。
不过你要注意人家可能会反爬，甚至会投毒，这个就得你自己处理了。说不定人家发现你是爬虫，会返回假数据让你永远也爬不完，所以你要监控你的数据。
反正做爬虫就要准备打持久战，小网站还好，大网站的反爬很恶心，你得做好每天都改的准备。

我给出代码的判断条件是是否 404，万一某个网站不给 404，直接给你跳转某个网页，那这代码就陷入死循环，就没用了，重新回到你的问题，你不知道一个网页有多少页，为什么要靠猜有多少页，为啥不让代码看一下网页有多少页，建议了解一下 xlml 这个库
顺带给个范例，查询本贴共有多少人回复：
import requests
from lxml import etree

url = r"https://www.v2ex.com/t/586668"
header = {
“User-Agent”: “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36”,
}

html = requests.get(url, headers=header)
xml_content = etree.HTML(html.content)
href_list = xml_content.xpath("//span[class=‘no’]/text()")
print(“当前回复最大楼层” + href_list[-1] + “楼”)

是我没有理解楼主已经会设置最大页码的意思吗
😴获取这个目录下的最大页码 源代码肯定有接口或者写死在标签里的
这样直接循环遍历不挺好的么
二分实在多此一举了