Golang跨平台网页存档机器人插件Wayback使用指南

Wayback是一个用于网页存档的Golang库，它可以方便地将网页保存到Internet Archive的Wayback Machine或其他存档服务中。下面我将介绍如何在Golang项目中使用这个插件。

安装

首先安装wayback库：

go get -u github.com/wabarc/wayback

基本使用

简单存档示例

package main

import (
	"fmt"
	"log"

	"github.com/wabarc/wayback"
)

func main() {
	// 创建wayback实例
	wb := wayback.New(nil)

	// 要存档的URL
	urls := []string{"https://example.com", "https://github.com"}

	// 执行存档
	results, err := wb.Wayback(urls)
	if err != nil {
		log.Fatal(err)
	}

	// 打印结果
	for url, result := range results {
		fmt.Printf("URL: %s\n", url)
		fmt.Printf("存档链接: %s\n", result.ArchivedURL)
		fmt.Printf("存档时间: %s\n", result.Timestamp)
		fmt.Println("------------------")
	}
}

配置选项

Wayback支持多种配置选项：

package main

import (
	"fmt"
	"log"
	"time"

	"github.com/wabarc/wayback"
	"github.com/wabarc/wayback/config"
)

func main() {
	// 配置选项
	opts := &config.Options{
		Timeout:   30 * time.Second,  // 超时时间
		UserAgent: "MyArchiveBot/1.0", // 自定义User-Agent
		PoolingSize: 3,               // 并发池大小
	}

	// 创建wayback实例
	wb := wayback.New(opts)

	// 存档操作...
}

高级功能

多存档服务支持

Wayback支持多种存档服务：

package main

import (
	"fmt"
	"log"

	"github.com/wabarc/wayback"
	"github.com/wabarc/wayback/config"
)

func main() {
	opts := &config.Options{
		EnableIA:   true,  // Internet Archive
		EnableIS:   true,  // archive.today
		EnableIPFS: false, // IPFS
	}

	wb := wayback.New(opts)

	urls := []string{"https://example.com"}
	results, err := wb.Wayback(urls)
	if err != nil {
		log.Fatal(err)
	}

	for url, result := range results {
		fmt.Printf("URL: %s\n", url)
		fmt.Printf("Internet Archive: %s\n", result.IA)
		fmt.Printf("archive.today: %s\n", result.IS)
	}
}

自定义存档服务

package main

import (
	"fmt"
	"log"

	"github.com/wabarc/wayback"
	"github.com/wabarc/wayback/config"
	"github.com/wabarc/wayback/service"
)

func main() {
	// 自定义存档服务
	customService := &service.Archiver{
		Name: "MyArchive",
		Wayback: func(url string) (string, error) {
			// 实现自定义存档逻辑
			return "https://my-archive.example.com/saved/" + url, nil
		},
	}

	opts := &config.Options{
		CustomServices: []*service.Archiver{customService},
	}

	wb := wayback.New(opts)

	urls := []string{"https://example.com"}
	results, err := wb.Wayback(urls)
	if err != nil {
		log.Fatal(err)
	}

	for url, result := range results {
		fmt.Printf("URL: %s\n", url)
		fmt.Printf("MyArchive: %s\n", result.Custom["MyArchive"])
	}
}

错误处理

package main

import (
	"fmt"
	"log"

	"github.com/wabarc/wayback"
)

func main() {
	wb := wayback.New(nil)

	urls := []string{"https://example.com", "invalid-url"}

	results, err := wb.Wayback(urls)
	if err != nil {
		// 检查是否是部分失败
		if wayback.IsPartialError(err) {
			partialErr := err.(*wayback.PartialError)
			for url, err := range partialErr.Errors {
				log.Printf("存档 %s 失败: %v", url, err)
			}
		} else {
			log.Fatal(err)
		}
	}

	// 处理成功的结果
	for url, result := range results {
		if result != nil {
			fmt.Printf("成功存档: %s -> %s\n", url, result.ArchivedURL)
		}
	}
}

实际应用示例

下面是一个完整的命令行工具示例，可以存档多个URL并输出结果：

package main

import (
	"flag"
	"fmt"
	"log"
	"os"
	"strings"

	"github.com/wabarc/wayback"
)

func main() {
	// 命令行参数
	urls := flag.String("urls", "", "要存档的URL列表，用逗号分隔")
	output := flag.String("output", "text", "输出格式 (text/json)")
	flag.Parse()

	if *urls == "" {
		fmt.Println("请使用 -urls 参数指定要存档的URL")
		os.Exit(1)
	}

	// 分割URL
	urlList := strings.Split(*urls, ",")

	// 创建wayback实例
	wb := wayback.New(nil)

	// 执行存档
	results, err := wb.Wayback(urlList)
	if err != nil {
		log.Fatal(err)
	}

	// 输出结果
	switch *output {
	case "json":
		// JSON输出
		fmt.Println(results.JSON())
	default:
		// 文本输出
		for url, result := range results {
			fmt.Printf("原始URL: %s\n", url)
			fmt.Printf("存档链接: %s\n", result.ArchivedURL)
			fmt.Printf("存档时间: %s\n", result.Timestamp)
			fmt.Println("------------------")
		}
	}
}

使用方式：

go run main.go -urls "https://example.com,https://github.com" -output json

总结

Wayback是一个功能强大且灵活的Golang网页存档库，主要特点包括：

• 支持多种存档服务（Internet Archive、archive.today等）
• 支持自定义存档服务
• 并发处理多个URL
• 丰富的配置选项
• 详细的错误处理

通过上述示例，您可以轻松地将网页存档功能集成到您的Golang应用中。