如何用Python爬取数据源URL动态变化的网址？

这种情况得用Selenium或者Playwright这种能执行JavaScript的库。很多网站的数据是通过JS动态加载的，URL会变，直接用requests拿不到完整数据。

给你个Selenium的例子：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 设置Chrome选项
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 无头模式，不显示浏览器窗口

# 初始化驱动
driver = webdriver.Chrome(options=options)

try:
    # 访问目标网页
    driver.get('https://example.com/dynamic-page')
    
    # 等待动态内容加载（这里等某个特定元素出现）
    wait = WebDriverWait(driver, 10)
    target_element = wait.until(
        EC.presence_of_element_located((By.CLASS_NAME, 'data-container'))
    )
    
    # 获取动态加载后的页面源码
    page_source = driver.page_source
    
    # 这里可以用BeautifulSoup解析page_source
    # soup = BeautifulSoup(page_source, 'html.parser')
    
    # 或者直接通过Selenium定位元素提取数据
    data_elements = driver.find_elements(By.CLASS_NAME, 'data-item')
    for element in data_elements:
        print(element.text)
        
    # 如果需要点击按钮加载更多数据
    load_more_button = driver.find_element(By.ID, 'load-more')
    load_more_button.click()
    time.sleep(2)  # 等待新数据加载
    
finally:
    driver.quit()

关键点：

1. 用WebDriverWait配合expected_conditions等动态内容加载完成
2. 通过page_source获取完整的渲染后HTML
3. 可以直接用Selenium的方法定位元素，或者用BeautifulSoup解析源码

如果网站反爬厉害，可能需要加user-agent、处理cookie，或者用undetected-chromedriver。

用Playwright也行，API更现代，支持异步。看具体需求选工具。

总结：用Selenium或Playwright处理JS动态加载。

可以请教一下你的前端同事，这种分析对他们来说应该不难