go-multiproxy HTTP代理池管理库使用指南

go-multiproxy 是一个用于管理HTTP请求代理池的Golang库，它可以帮助开发者轻松实现代理轮换、失败重试等功能。下面我将详细介绍其使用方法。

安装

go get github.com/ouqiang/go-multiproxy

基本使用

1. 创建代理池

package main

import (
	"fmt"
	"net/http"
	"net/url"
	"time"

	"github.com/ouqiang/go-multiproxy"
)

func main() {
	// 初始化代理池
	proxyPool := multiproxy.NewProxyPool()

	// 添加代理服务器
	proxyPool.AddProxy("http://proxy1.example.com:8080")
	proxyPool.AddProxy("http://proxy2.example.com:8080")
	proxyPool.AddProxy("http://user:pass@proxy3.example.com:8080")

	// 创建HTTP客户端
	client := &http.Client{
		Timeout: 10 * time.Second,
		Transport: &http.Transport{
			Proxy: proxyPool.Proxy,
		},
	}

	// 使用代理发送请求
	resp, err := client.Get("http://example.com")
	if err != nil {
		fmt.Printf("请求失败: %v\n", err)
		return
	}
	defer resp.Body.Close()

	fmt.Println("请求成功，状态码:", resp.StatusCode)
}

2. 代理池配置选项

// 创建带配置的代理池
proxyPool := multiproxy.NewProxyPool(
	multiproxy.WithMaxRetry(3),           // 最大重试次数
	multiproxy.WithRetryInterval(2),      // 重试间隔(秒)
	multiproxy.WithHealthCheck(true),     // 启用健康检查
	multiproxy.WithHealthCheckURL("http://www.google.com"), // 健康检查URL
	multiproxy.WithHealthCheckInterval(60), // 健康检查间隔(秒)
)

高级功能

1. 自定义代理选择策略

// 随机选择代理
proxyPool.SetProxySelector(multiproxy.NewRandomSelector())

// 轮询选择代理(默认)
proxyPool.SetProxySelector(multiproxy.NewRoundRobinSelector())

// 自定义选择器
type customSelector struct{}
func (s *customSelector) Select(proxies []*url.URL, req *http.Request) *url.URL {
	// 实现自定义选择逻辑
	return proxies[0] // 简单示例：总是选择第一个代理
}
proxyPool.SetProxySelector(&customSelector{})

2. 代理健康检查

// 手动触发健康检查
proxyPool.HealthCheck()

// 获取不健康的代理列表
badProxies := proxyPool.GetBadProxies()
for _, p := range badProxies {
	fmt.Println("不健康代理:", p.String())
}

// 从池中移除代理
proxyPool.RemoveProxy("http://bad.proxy.com:8080")

3. 错误处理和重试

// 自定义错误处理
proxyPool.SetErrorHandler(func(err error, proxy *url.URL, req *http.Request) {
	fmt.Printf("代理 %s 请求失败: %v\n", proxy.String(), err)
	// 可以在这里记录失败次数或执行其他操作
})

// 启用自动重试
proxyPool.SetMaxRetry(3)

完整示例

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
	"time"

	"github.com/ouqiang/go-multiproxy"
)

func main() {
	// 初始化代理池
	proxyPool := multiproxy.NewProxyPool(
		multiproxy.WithMaxRetry(2),
		multiproxy.WithHealthCheck(true),
		multiproxy.WithHealthCheckInterval(30),
	)

	// 添加代理
	proxies := []string{
		"http://proxy1.example.com:8080",
		"http://proxy2.example.com:8080",
		"http://user:pass@proxy3.example.com:8080",
		"http://proxy4.example.com:8080",
	}

	for _, p := range proxies {
		proxyPool.AddProxy(p)
	}

	// 创建HTTP客户端
	client := &http.Client{
		Timeout: 15 * time.Second,
		Transport: &http.Transport{
			Proxy: proxyPool.Proxy,
		},
	}

	// 发送请求
	req, _ := http.NewRequest("GET", "https://api.example.com/data", nil)
	resp, err := client.Do(req)
	if err != nil {
		fmt.Println("最终请求失败:", err)
		return
	}
	defer resp.Body.Close()

	body, _ := ioutil.ReadAll(resp.Body)
	fmt.Printf("响应状态: %d, 内容长度: %d\n", resp.StatusCode, len(body))
	
	// 打印当前代理池状态
	fmt.Println("\n代理池状态:")
	fmt.Println("总代理数:", proxyPool.Len())
	fmt.Println("健康代理数:", proxyPool.Len()-len(proxyPool.GetBadProxies()))
	fmt.Println("不健康代理:", proxyPool.GetBadProxies())
}

最佳实践

1. 代理来源管理：建议将代理列表存储在数据库或配置文件中，动态加载到代理池
2. 定期更新：设置定时任务定期更新代理池中的代理
3. 失败处理：对于连续失败的代理，应该从池中暂时移除
4. 日志记录：记录代理使用情况和失败信息，便于分析优化
5. 并发安全：go-multiproxy是并发安全的，可以在多goroutine环境下使用

go-multiproxy 提供了简单而强大的代理管理功能，能够有效提高爬虫或其他需要频繁使用代理的应用的稳定性和可靠性。