Nodejs http请求headers的顺序

Nodejs http请求headers的顺序

HTTP 协议的请求头是我们日常开发中非常熟悉的一部分，例如 content-type 和 etag 等字段定义了我们如何使用 HTTP 协议以及反映了资源的状态。然而，我们是否注意到这些请求头的顺序呢？

在开发爬虫程序时，我发现了一个有趣的现象：即使我按照浏览器的请求头来伪造请求，依然会收到 40X 错误。我最初怀疑是因为网站通过算法禁止了我的 IP 地址，但后来发现即便单独请求，部分请求仍然会被阻挡。

经过观察，我发现浏览器端的请求一直很顺畅，于是我尝试将浏览器的请求头按原样复制到我的爬虫程序中，结果发现它可以正常工作了。这让我开始思考：HTTP 请求头真的有顺序吗？

Nodejs 示例代码

让我们先来看一段 Node.js 的代码，该代码创建了一个简单的 HTTP 服务器，并打印出请求头及其键：

const http = require('http');

const server = http.createServer((req, res) => {
  const headersString = JSON.stringify(req.headers);
  const headerKeys = Object.keys(req.headers).join('\n');
  
  res.writeHead(200, { 'Content-Type': 'text/plain' });
  res.end(`${headersString}\n${headerKeys}`);
}).listen(3000);

console.log('Server running at http://localhost:3000/');

这段代码启动了一个 HTTP 服务器，当接收到请求时，它会输出请求头的 JSON 形式以及请求头的键列表。

测试不同的浏览器请求头

为了测试不同浏览器的请求头，你可以使用以下工具来获取 Chrome、Firefox 和 Internet Explorer 的请求头截图。请注意，你需要在你的服务器上部署上述代码并访问 / 路径以获取请求头信息。

打乱请求头顺序

接下来，我们通过 Node.js 发送一个 HTTP 请求，并手动调整请求头的顺序。我们将请求头从原始顺序调整为一个新顺序，并观察服务器返回的请求头顺序：

const http = require('http');

const getfn = (path, cb) => {
  const request = http.request({
    host: '192.168.1.220',
    port: 3000,
    path: '/' + path,
    method: 'GET',
    headers: {
      'Accept': 'text/html',
      'Content-Type': 'application/x-www-form-urlencoded', 
      'Content-Length': '19',
      'User-Agent': 'node.js-v0.8.8', 
      'Cookie': 'userid=123456; mycookie2=abcdefg', 
      'X-Requested-With': 'xmlhttprequest',
      'Connection': 'keep-alive',
      'Referer': 'http://www.cnodejs.org/'
    }
  }, (res) => {
    let body = '';
    res.on('data', (chunk) => {
      body += chunk;
    });
    res.on('end', () => {
      cb(res, body);
    });
  }).on('error', (e) => {
    throw e;
  });

  request.end();
};

getfn('/', (res, body) => {
  console.log(body);
});

如果我们改变请求头的顺序：

const request = http.request({
  host: '192.168.1.220',
  port: 3000,
  path: '/' + path,
  method: 'GET',
  headers: {
    'Host': '192.168.1.220',
    'Referer': 'http://www.cnodejs.org/',
    'Content-Type': 'application/x-www-form-urlencoded', 
    'Content-Length': '19',
    'User-Agent': 'node.js-v0.8.8', 
    'Cookie': 'userid=123456; mycookie2=abcdefg', 
    'X-Requested-With': 'xmlhttprequest',
    'Connection': 'keep-alive',
    'Accept': 'text/html'
  }
}, (res) => {
  // 处理响应...
});

结论

通过上述实验，我们可以看到 HTTP 请求头的顺序确实会影响请求的成功与否。这是因为 HTTP 协议基于 TCP 协议，而 TCP 协议严格地按照发送数据的顺序进行传输。因此，HTTP 请求头的顺序也会严格遵循发送时的顺序。

这也意味着，如果要编写一个有效的爬虫程序，必须确保请求头的顺序与浏览器一致，否则可能会遇到诸如 40X 错误这样的问题。

snoopy 发的文章都能够让大家学到很多东西！赞一个~

楼主要请教您点问题，希望能回复，我是门外汉对于nodejs不是很懂 希望指点 下面我贴上了代码 我的困惑是为什么最后我的console.log—输出的事undefined

这里是routes里的代码

时间久了，图片不显示了