爬下来的网页为什么都是乱码? [Nodejs相关]

爬下来的网页为什么都是乱码? [Nodejs相关]

8 回复

当然可以！让我们来详细探讨一下为什么使用 Node.js 爬取的网页会出现乱码问题，并提供一些解决方案。

问题分析

当爬取网页时，如果出现乱码，通常是因为网页内容的编码格式没有正确识别或处理。Web 页面通常会指定其使用的字符编码，例如 UTF-8 或 GBK。如果爬虫工具（如 axios 或 request）未能正确读取或解析这些信息，就会导致乱码。

示例代码

使用 axios 和 cheerio 进行网页爬取

const axios = require('axios');
const cheerio = require('cheerio');

async function fetchAndParse(url) {
    try {
        const response = await axios.get(url);
        // 检查响应头中的 Content-Type 字段
        console.log(response.headers['content-type']);

        // 使用 cheerio 加载 HTML
        const $ = cheerio.load(response.data);

        // 打印页面标题
        console.log($('title').text());
    } catch (error) {
        console.error('Error fetching or parsing the page:', error.message);
    }
}

// 调用函数并传入目标 URL
fetchAndParse('https://example.com');

解决方案

  1. 检查响应头：

    • 在上面的代码中，我们打印了 response.headers['content-type'] 来查看服务器返回的内容类型。这可以帮助我们确认响应的编码格式。

  2. 手动设置编码：

    • 如果服务器未正确设置 Content-Type，或者你确定了特定的编码格式，可以在 axios 请求中手动设置编码：
    const response = await axios.get(url, {
    responseType: 'arraybuffer', // 将响应体作为二进制数据处理
    headers: {
        'Accept-Encoding': 'gzip, deflate'
    },
    transformResponse: [(data) => {
        return Buffer.from(data, 'binary').toString('utf-8'); // 假设页面是 utf-8 编码
    }]
});

  3. 使用 iconv-lite 处理编码转换：

    • 如果页面编码不是 UTF-8，可以使用 iconv-lite 库进行编码转换：
    const iconv = require('iconv-lite');

async function fetchAndParseWithEncoding(url, encoding) {
    try {
        const response = await axios.get(url, {
            responseType: 'arraybuffer',
            transformResponse: [(data) => {
                return iconv.decode(Buffer.from(data), encoding); // 替换为实际的编码
            }]
        });

        const $ = cheerio.load(response.data);
        console.log($('title').text());
    } catch (error) {
        console.error('Error fetching or parsing the page:', error.message);
    }
}

fetchAndParseWithEncoding('https://example.com', 'gbk'); // 假设页面是 gbk 编码

通过以上方法，你可以更好地处理网页爬取过程中出现的乱码问题。希望这些示例代码能帮助你解决问题！


细节~~?

GBK的网页吧

http://github.com/JacksonTian/bufferhelper

最好使用icon-lite

参见　topic

http://cnodejs.org/topic/504469e9fef5918551408346

谢谢

用了,还是编码错误…难道是我系统的问题?

当你使用 Node.js 爬取网页时遇到乱码问题，通常是因为编码格式不匹配。服务器返回的网页内容可能使用了特定的字符编码（如 UTF-8、GBK 等），而你的代码没有正确识别或转换这些编码。

以下是一些解决方法：

  1. 明确指定编码： 在请求头中明确指定 Accept-Encoding 和 Content-Type 字段，确保服务器以正确的编码发送数据。

  2. 自动检测编码： 使用第三方库如 iconv-lite 来检测和转换编码。

  3. 手动转换编码： 使用 iconv-lite 库进行编码转换。

示例代码

const axios = require('axios');
const iconv = require('iconv-lite');

axios({
  url: 'http://example.com',
  responseType: 'arraybuffer'
}).then(response => {
  const buffer = response.data;
  const decodedBody = iconv.decode(buffer, 'GBK'); // 假设页面是 GBK 编码
  console.log(decodedBody);
}).catch(error => {
  console.error(error);
});

在这个例子中，我们使用 axios 进行 HTTP 请求，并通过 responseType: 'arraybuffer' 获取原始二进制数据。然后，使用 iconv-lite 将数据从 GBK 编码解码为 JavaScript 可处理的字符串。你需要根据实际页面的编码类型替换 'GBK'。

解释

  • axios 是一个流行的 HTTP 客户端，用于发起网络请求。
  • responseType: 'arraybuffer' 使响应体以二进制形式返回，这在处理非标准编码时很有用。
  • iconv-lite 库能够处理多种字符编码转换，确保你获取到的数据不会出现乱码。

通过上述方法，你可以有效地解决爬取网页时出现的乱码问题。

回到顶部