Nodejs request库使用时, gb2312、GBK中文乱码解决方法

Nodejs request库使用时, gb2312、GBK中文乱码解决方法

在使用http库或者request库请求一个URL地址时，经常会遇到中文乱码的问题。本文将提供一种解决方案，以帮助你在使用Node.js处理GBK编码的网页时避免乱码问题。

解决方案

为了正确处理GBK编码的网页，我们需要引入以下三个库：

• request：用于发起HTTP请求。
• iconv-lite：用于编码和解码。
• bufferhelper：用于处理数据缓冲区。

以下是具体的实现代码：

const request = require('request');
const iconv = require('iconv-lite');
const BufferHelper = require('bufferhelper');

/**
 * @param url 需要抓取的url地址
 * @param callback 回调函数
 */
function fetchContent(url, callback) {
    const req = request(url, { timeout: 10000, pool: false });
    req.setMaxListeners(50);
    req.setHeader('user-agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36')
        .setHeader('accept', 'text/html,application/xhtml+xml');

    req.on('error', function (err) {
        console.log(err);
    });

    req.on('response', function (res) {
        const bufferHelper = new BufferHelper();
        res.on('data', function (chunk) {
            bufferHelper.concat(chunk);
        });

        res.on('end', function () {
            const result = iconv.decode(bufferHelper.toBuffer(), 'GBK');
            callback(result);
        });
    });
}

介绍GBK编码

GBK是一种双字节变长编码方式，兼容ASCII码。它主要用于中文字符的编码，总共有23940个编码。

• GBK编码特点：

  • ASCII字符用一字节编码，最高位为0。
  • 其他字符用两位编码，高字节从0x81开始。

• 编解码规则：

  • 编码时，通过Unicode到GBK的映射表生成GBK字节流。
  • 解码时，通过GBK到Unicode的映射表生成UCS2字节流，再通过buffer.toString('UCS2')转换成字符串。

安装依赖

首先确保你已经安装了所需的库：

npm install request iconv-lite bufferhelper

示例代码

const request = require('request');
const iconv = require('iconv-lite');
const BufferHelper = require('bufferhelper');

function fetchContent(url, callback) {
    const req = request(url, { timeout: 10000, pool: false });
    req.setMaxListeners(50);
    req.setHeader('user-agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36')
        .setHeader('accept', 'text/html,application/xhtml+xml');

    req.on('error', function (err) {
        console.log(err);
    });

    req.on('response', function (res) {
        const bufferHelper = new BufferHelper();
        res.on('data', function (chunk) {
            bufferHelper.concat(chunk);
        });

        res.on('end', function () {
            const result = iconv.decode(bufferHelper.toBuffer(), 'GBK');
            callback(result);
        });
    });
}

fetchContent('http://example.com', function (content) {
    console.log(content);
});

通过上述代码，你可以正确地处理GBK编码的网页内容，并避免乱码问题。