Python中如何分析并爬取cn.investing.com网页信息

要爬取cn.investing.com这类动态加载的网站，直接用requests拿不到完整数据，得用Selenium或Playwright模拟浏览器。下面是一个用Selenium的完整例子，爬取外汇页面的主要货币对数据。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
import pandas as pd
import time

def scrape_investing_forex():
    # 设置Chrome选项
    chrome_options = Options()
    chrome_options.add_argument('--headless')  # 无头模式，不显示浏览器窗口
    chrome_options.add_argument('--disable-gpu')
    chrome_options.add_argument('--no-sandbox')
    
    # 启动浏览器
    driver = webdriver.Chrome(options=chrome_options)
    
    try:
        # 访问外汇页面
        url = "https://cn.investing.com/currencies/"
        driver.get(url)
        
        # 等待表格加载
        wait = WebDriverWait(driver, 10)
        table = wait.until(EC.presence_of_element_located((By.CLASS_NAME, "genTbl")))
        
        # 提取数据
        data = []
        rows = table.find_elements(By.TAG_NAME, "tr")[1:]  # 跳过表头
        
        for row in rows:
            cols = row.find_elements(By.TAG_NAME, "td")
            if len(cols) >= 9:
                row_data = {
                    '名称': cols[1].text.strip(),
                    '最新价': cols[2].text.strip(),
                    '涨跌幅': cols[3].text.strip(),
                    '最高价': cols[4].text.strip(),
                    '最低价': cols[5].text.strip(),
                    '涨跌': cols[6].text.strip(),
                    '时间': cols[8].text.strip()
                }
                data.append(row_data)
        
        # 转换为DataFrame
        df = pd.DataFrame(data)
        return df
        
    finally:
        driver.quit()

# 执行爬取
if __name__ == "__main__":
    df = scrape_investing_forex()
    print(df.head())
    # 保存到CSV
    df.to_csv('investing_forex_data.csv', index=False, encoding='utf-8-sig')

代码解释：

1. 用Selenium的Chrome驱动，设置无头模式不弹窗。
2. 访问目标页面后，等genTbl这个表格类加载出来。
3. 遍历表格行，提取第2到第9列的数据（名称、价格、涨跌等）。
4. 把数据转成pandas DataFrame，方便存CSV或进一步处理。

几个关键点：

• 这个网站反爬挺严，可能需要加user-agent或者处理验证码。
• 数据是动态加载的，等元素出现再用WebDriverWait，比硬等靠谱。
• 爬的时候悠着点，加个time.sleep()别把人家服务器搞挂了。

总结：爬动态网页得用浏览器自动化工具，注意反爬和请求频率。

在 console 打$(’#resultsTable tr’)看看是不是你要的结果