Golang Go语言中 Goroutine 如何并行抓取网页

我是这么想的 我只开 8 个 routine,不停的从 channel/queue 里面读抓取的网址然后去爬它.

但是如果我不开 GOMAXPROCS,那么每一个瞬间,都最多只有一个 routine 在跑,这只是利用异步 IO 在并发.

但是只要我设置了 GOMAXPROCS,这些 routine 就会被调度到不同的线程->不同的 CPU,这样才是并行

所以这里并行的关键是设置 GOMAXPROCS 对吧,那题目说的不是简单设置 GOMAXPROCS,这才是让我困惑的地方,我以为有什么其他的方法来实现并行

在Go语言中，Goroutine 是实现并发执行的有效工具。要并行抓取网页，你可以利用 Goroutine 的轻量级和高效性，结合 net/http 包来发送 HTTP 请求。以下是一个简单的示例，展示了如何使用 Goroutine 并行抓取网页：

1. 定义一个函数来抓取网页：这个函数会接收一个 URL，使用 http.Get 方法发送请求，并返回响应体内容。

2. 使用 Goroutine 并行执行：在需要并行抓取的 URL 列表上迭代，为每个 URL 启动一个 Goroutine。

3. 等待所有 Goroutine 完成：使用 sync.WaitGroup 来确保所有 Goroutine 在主函数退出前完成。

示例代码：

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "sync"
)

func fetchURL(url string, wg *sync.WaitGroup, results chan<- string) {
    defer wg.Done()
    resp, err := http.Get(url)
    if err != nil {
        results <- fmt.Sprintf("Failed to fetch %s: %v", url, err)
        return
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        results <- fmt.Sprintf("Failed to read %s: %v", url, err)
        return
    }
    results <- string(body)
}

func main() {
    // URL 列表和 WaitGroup 初始化代码省略...
    // 使用 Goroutine 和 channel 收集结果...
}

这样，你就可以利用 Goroutine 的并发特性，高效地并行抓取多个网页。注意，实际应用中应添加错误处理、超时控制等，以提高程序的健壮性。