如何在 Nodejs 里，把 puppeteer 做成一个 web 服务？

如何在 Nodejs 里，把 puppeteer 做成一个 web 服务？
我想把 puppeteer，这个抓取网页的功能，做成一个 web 服务，具体来说，这个 web 服务接收两个参数，一个是网址 url，另一个是选择器 selector, web 服务接收这两个参数，然后 puppeteer 抓取这个 url，解析出 selector, 并返回 出这个 selector.
大致代码如下 ：

const express = require(‘express’)

const app = express()

app.get(’/myurl/:url/:selector’, function (req, res,page) {
　 const puppeteer = require(‘puppeteer’);
　 var url=req.params.url;
　 var selector=req.params.selector
　(async() => {
　　 const browser = await puppeteer.launch({args: [’–no-sandbox’, ‘–disable-setuid-sandbox’]});
　　 const page = await browser.newPage();
　　 await page.goto('http://www.iciba.com/’+vocabulary);
　　 const html = await page.$eval(selector, e => e.outerHTML);
　　 browser.close();
　　 res.send(html);
　})();
})

app.listen(5000, function () {
})


但这个代码有致命问题，它每次都启动一次 puppeteer, 每次都开新标签，用完之后，每次都关闭标签 。能不能这些动作都做一次，每次都复用相同的标签页，来打个页面，各位 nodejs 高手有办法吗？


23 回复

browser.pages[0] 可以取到第一个标签页，用完不关 page 就好了


楼上讲了正确的废话，talk is cheap, show me the code. 谁给出正确代码，我给那人发红包。

给出正确代码，我发红包。

const express = require(‘express’)

const app = express()
let browser
let page
(async () => {
browser = await puppeteer.launch({args: [’–no-sandbox’, ‘–disable-setuid-sandbox’]});
page = await browser.newPage();
})()

app.get(’/myurl/:url/:selector’, function (req, res,page) {
　 const puppeteer = require(‘puppeteer’);
　 var url=req.params.url;
　 var selector=req.params.selector
　(async() => {
　　 await page.goto(‘http://www.iciba.com/’+vocabulary);
　　 const html = await page.$eval(selector, e => e.outerHTML);
　　 res.send(html);
　})();
})

app.listen(5000, function () {
})

我试了下，@wangjie, 确实能运行，上面的代码可能有点错误 ，正确的代码如下：
const express = require(‘express’)

const app = express();
let browser;
let page;
(async () => {
const puppeteer = require(‘puppeteer’);
browser = await puppeteer.launch({args: [’–no-sandbox’, ‘–disable-setuid-sandbox’]});
page = await browser.newPage();
})()

app.get(’/word/:vocabulary’, function (req, res) {
var url=req.params.url;
var vocabulary=req.params.vocabulary;
(async() => {
await page.goto(‘http://www.iciba.com/’+vocabulary);
const html = await page.$eval(‘div.article div.article-section’, e => e.outerHTML);
res.send(html);
})();
})

app.listen(5000, function () {
})


确实可运行，@wangjie, 请提供你的支付宝帐号，给你发个小红包。 支付宝帐号，可用 base64 加密之。

你没什么毛病吧？你需要的思路讲给你听了你还说废话，你的代码你自己写就好了别人有义务看懂并帮你写代码？公主病？

你的思路就是错的 正确的提发是 你讲了错误的废话 不仅是废话 还是错误的 这里的问题是如何杜绝反复的发起 打开 关闭 你讲的啥玩意？ 不提了 后人已给出代码 我也做了修正 别人是没义务 所以才要发红包 在 stackoverflow 上 人们通常是用代码作答 而不是思路 talk is cheap!

每次只操作同一个 browser 实例里的第一个 page, 永远不去 newPage(), 就根本不需要反复打开关闭了. 你不经思考就断言别人说的是废话, 我也是呵呵了跟你这种人讲道理. 还以为自己得到了最优解, 还 talk is cheap, 你咋不上天呢亲爱的?

我认为以你对 puppeteer 的理解, 只需要把.pages[0]这个关键点指给你就足够, 看来我错了.

你连题意都审不清楚，既使不反复打开 newpage, 这里还会反复 launch browser, 你自己错了，怎么不承认 呢，如果你自始自终坚持认为自己是对的，行，贴出代码来，我运行一次，即知真假，何必反复用自然语言去描述一个需要精准运作的代码片段？ talk is cheap, show me the code !

我只告诉你只需要 launch 一次, 思路自己想, 伸手党, 我拒绝给你代码, 你已经得到最优解了行吧, 祝你好运.

这种只知道复制粘贴的人你理它干嘛呢，好好的周末心情都没了

感谢,心情好多了 (一大早还没起床就回答个问题,结果被说成是废话,v2ex 让我大开眼界

不理这些人便是。

pandorajs 了解一下

还复制，粘贴，上面的代码，在网上是无论如何都找不到的，包括 wangjie 的代码，也是不能正常运行的，我做出了修正，才能正常运行，但其大体思路是正确的，所以认为是个好答案。
真是物以群分，人以类聚，真正的高手，都是一言不发，直接上代码,比如 wangjie,，反倒是叫得最响的，反而没啥真正本事。

好中二呀

“不能正常运行” 这样的提法表明你并不懂编程
你只会复制粘贴，啪，运行了，great，啪，error，“不能正常运行”

为什么你觉得 “真正的高手，都是一言不发，直接上代码”
是因为你和他们交流的时候，根本不懂他们在说什么。人家只好 “直接上代码”，你复制粘贴，好问题解决。

你的意思 stackoverflow 整个网站都是错的 他们应该用自然语言来交流 ？ 所谓程序 就是磨磨嘴皮 说下就行了？ 所有的学术论文 不应该出现代码 用自然语言描述下就行了 所有的算法 思想 用自然语言描述就行了 书本上就不该出现任何代码 否则就是 low 逼的书

stackoverflow 面向的就是你这样水平的啊，为了让你看懂，当然是代码了。
反过来，论文就是很好的例子。如果你照着学术论文，能实现出同样的效果，算我输！

stackoverflow 直接上代码的回答都是因为问的问题太傻比了，跟你解释估计你也听不懂，两行代码自己拿去复制吧。这个问题就是这样的

思路 or code ？

要在 Node.js 中将 Puppeteer 做成一个 Web 服务，你可以使用 Express.js 框架来创建一个 HTTP 服务器，并在服务器中处理请求时调用 Puppeteer 来生成所需的网页截图或执行其他浏览器自动化任务。以下是一个简单的示例代码，展示了如何实现这一目标：

const express = require('express');
const puppeteer = require('puppeteer');
const fs = require('fs');
const path = require('path');

const app = express();
const PORT = 3000;

app.get('/screenshot', async (req, res) => {
  const url = req.query.url || 'https://example.com';
  
  try {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.goto(url);
    const screenshot = await page.screenshot();
    
    await browser.close();
    
    res.type('image/png');
    res.send(screenshot);
  } catch (error) {
    res.status(500).send('Error taking screenshot: ' + error.message);
  }
});

app.listen(PORT, () => {
  console.log(`Server is running on http://localhost:${PORT}`);
});

这个示例代码创建了一个 Express 应用，监听在端口 3000 上。它定义了一个 /screenshot 的 GET 路由，该路由接受一个 url 查询参数，并使用 Puppeteer 访问该 URL 并生成截图。截图生成后，它作为 HTTP 响应发送回客户端。

要运行这个服务，你需要确保已经安装了 Node.js 和 npm，然后通过 npm install express puppeteer 安装所需的依赖包。之后，你可以使用 node your_script_name.js 命令启动服务。

回到顶部