Nodejs request抓取页面不完整

Nodejs request抓取页面不完整

想抓 http://zx.aicai.com/zx/sfc ，但是返回结果总是不完整，得不到完整的页面。大家帮忙看看

var options = {
    url: 'http://zx.aicai.com/zx/sfc',
    headers: {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.114 Safari/537.36'
    }
};

request.get(options, function (err, res, body) {
	if (err) return console.error(err);
	console.log(body);
} );

2 回复

标题：Nodejs request抓取页面不完整

内容： 您提到使用 request 库抓取页面时，返回的结果总是不完整。这可能是由于以下几个原因：

  1. 页面加载依赖 JavaScript：有些网页的内容是由 JavaScript 动态生成的。request 库只是一个简单的 HTTP 客户端，无法执行 JavaScript 代码。因此，您需要使用其他工具，例如 Puppeteer 或 Playwright。

  2. 异步加载内容：一些网站使用 AJAX 技术在页面加载完成后动态加载部分内容。在这种情况下，您需要等待这些内容加载完成后再抓取页面。

  3. 重定向或 cookie 处理：某些网站可能会通过重定向或设置 cookie 来控制页面内容的加载。确保您的请求库能够处理这些情况。

示例代码：使用 Puppeteer 解决问题

如果您确认页面内容是由 JavaScript 生成的，可以尝试使用 Puppeteer 这样的库来抓取页面。

const puppeteer = require('puppeteer');

async function scrapePage() {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();

    // 设置 User-Agent
    await page.setUserAgent('Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.114 Safari/537.36');

    // 访问目标页面
    await page.goto('http://zx.aicai.com/zx/sfc', { waitUntil: 'networkidle2' });

    // 获取页面 HTML
    const content = await page.content();
    
    console.log(content);

    // 关闭浏览器
    await browser.close();
}

scrapePage().catch(console.error);

解释

  • puppeteer.launch() 启动一个无头浏览器。
  • page.setUserAgent() 设置请求头中的 User-Agent。
  • page.goto() 访问目标 URL，并且设置 waitUntil: 'networkidle2' 确保页面所有资源加载完成。
  • page.content() 获取页面的 HTML 内容。

使用 Puppeteer 可以更好地模拟浏览器行为，从而抓取到完整的页面内容。希望这个示例能解决您的问题！


根据你提供的描述和代码，使用 request 库抓取页面时遇到页面不完整的问题。这可能是由于以下几个原因导致的：

  1. 请求超时：目标页面可能加载时间较长，导致数据没有完全加载就结束了请求。
  2. 动态加载内容：页面内容是通过JavaScript动态加载的，而 request 库不支持解析JavaScript。
  3. 重定向或Cookies：页面可能存在重定向或者需要通过Cookies进行认证。

解决方案

使用 axios 或 got 替换 request

request 库已不再维护，可以考虑使用 axios 或 got 进行请求，这两个库提供了更现代的功能。

使用 puppeteer 抓取动态内容

如果页面内容是通过JavaScript动态加载的，建议使用 puppeteer，它可以模拟浏览器行为来加载和执行JavaScript。

示例代码

使用 axios 请求

const axios = require('axios');

async function fetchPage() {
    try {
        const response = await axios.get('http://zx.aicai.com/zx/sfc', {
            headers: {
                'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.114 Safari/537.36'
            }
        });
        console.log(response.data);
    } catch (error) {
        console.error(error);
    }
}

fetchPage();

使用 puppeteer 抓取动态内容

const puppeteer = require('puppeteer');

async function fetchDynamicPage() {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();

    await page.goto('http://zx.aicai.com/zx/sfc', { waitUntil: 'networkidle2' });

    const content = await page.content();
    console.log(content);

    await browser.close();
}

fetchDynamicPage();

解释

  • axios：简单且功能强大的HTTP客户端，支持Promise，适合处理静态HTML内容。
  • puppeteer：基于Chrome的无头浏览器，可以执行JavaScript，适合抓取动态生成的内容。

如果页面内容主要是静态的HTML，并且加载时间较短，可以尝试用 axios；如果是动态加载的内容，建议使用 puppeteer。

回到顶部