使用Colly进行优雅高效的网页抓取

Colly是Go语言中一个快速优雅的网页抓取框架，它提供了简洁的API和强大的功能，使得爬虫开发变得简单高效。下面我将详细介绍Colly的使用方法。

安装Colly

首先安装Colly包：

go get -u github.com/gocolly/colly/v2

基本使用示例

package main

import (
	"fmt"
	"github.com/gocolly/colly/v2"
)

func main() {
	// 创建Collector实例
	c := colly.NewCollector(
		// 限制域名，只爬取example.com下的链接
		colly.AllowedDomains("example.com"),
		// 启用异步请求
		colly.Async(true),
	)

	// 限制并发数为2
	c.Limit(&colly.LimitRule{
		DomainGlob:  "*",
		Parallelism: 2,
		Delay:       1 * time.Second, // 请求间延迟
	})

	// 当发现有链接时的回调
	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
		link := e.Attr("href")
		fmt.Printf("发现链接: %s\n", e.Request.AbsoluteURL(link))
		// 访问发现的链接
		e.Request.Visit(link)
	})

	// 请求前的回调
	c.OnRequest(func(r *colly.Request) {
		fmt.Println("正在访问:", r.URL)
	})

	// 请求完成后的回调
	c.OnResponse(func(r *colly.Response) {
		fmt.Printf("访问完成: %s 状态码: %d\n", r.Request.URL, r.StatusCode)
	})

	// 错误处理
	c.OnError(func(r *colly.Response, err error) {
		fmt.Printf("请求URL: %s 失败: %v\n", r.Request.URL, err)
	})

	// 开始爬取
	c.Visit("http://example.com/")

	// 等待所有异步请求完成
	c.Wait()
}

高级功能

1. 提取页面数据

c.OnHTML("article", func(e *colly.HTMLElement) {
	title := e.ChildText("h1")
	content := e.ChildText("div.content")
	date := e.ChildAttr("time", "datetime")
	
	fmt.Printf("文章标题: %s\n发布时间: %s\n内容: %s\n", 
		title, date, content)
})

2. 处理分页

c.OnHTML("a.next-page", func(e *colly.HTMLElement) {
	nextPage := e.Request.AbsoluteURL(e.Attr("href"))
	c.Visit(nextPage)
})

3. 使用代理

c.SetProxy("http://proxy.example.com:8080")

4. 随机User-Agent

c.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"

5. 处理JavaScript渲染的页面

Colly本身不支持JS渲染，但可以结合chromedp使用：

import "github.com/chromedp/chromedp"

// 先用chromedp获取渲染后的HTML
var htmlContent string
err := chromedp.Run(ctx,
	chromedp.Navigate("http://example.com"),
	chromedp.OuterHTML("html", &htmlContent),
)

// 然后用colly解析
c.OnResponse(func(r *colly.Response) {
	r.Ctx.Put("html", htmlContent)
})

c.OnScraped(func(r *colly.Response) {
	html := r.Ctx.Get("html")
	// 解析html...
})

实际案例：抓取新闻标题和链接

package main

import (
	"fmt"
	"log"
	"time"

	"github.com/gocolly/colly/v2"
)

type News struct {
	Title string
	URL   string
	Time  string
}

func main() {
	newsList := make([]News, 0)
	
	c := colly.NewCollector(
		colly.AllowedDomains("news.example.com"),
		colly.Async(true),
		colly.UserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64)"),
	)
	
	c.Limit(&colly.LimitRule{
		DomainGlob:  "*",
		Parallelism: 2,
		Delay:       1 * time.Second,
		RandomDelay: 1 * time.Second,
	})
	
	// 提取新闻条目
	c.OnHTML(".news-item", func(e *colly.HTMLElement) {
		news := News{
			Title: e.ChildText("h2"),
			URL:   e.Request.AbsoluteURL(e.ChildAttr("a", "href")),
			Time:  e.ChildText(".time"),
		}
		newsList = append(newsList, news)
	})
	
	// 处理分页
	c.OnHTML("a.next", func(e *colly.HTMLElement) {
		nextPage := e.Request.AbsoluteURL(e.Attr("href"))
		c.Visit(nextPage)
	})
	
	c.OnRequest(func(r *colly.Request) {
		fmt.Println("Visiting", r.URL)
	})
	
	c.OnError(func(r *colly.Response, err error) {
		log.Println("Request URL:", r.Request.URL, "failed with response:", r, "\nError:", err)
	})
	
	c.Visit("http://news.example.com/latest")
	c.Wait()
	
	// 输出结果
	for i, news := range newsList {
		fmt.Printf("%d. %s (%s)\n链接: %s\n\n", i+1, news.Title, news.Time, news.URL)
	}
}

最佳实践

1. 遵守robots.txt：Colly默认会检查robots.txt，建议保持这一行为
2. 设置合理的延迟：避免对目标网站造成过大压力
3. 错误处理：完善错误处理逻辑，记录失败请求
4. 限制并发：根据目标网站情况设置合适的并发数
5. 使用缓存：对于大规模爬取，考虑使用缓存避免重复请求

Colly是一个功能强大但使用简单的爬虫框架，通过合理配置可以满足大多数网页抓取需求，同时保持代码的简洁和可维护性。