使用go-recipe进行食谱数据抓取与解析

go-recipe是一个用于抓取和解析网站食谱数据的Golang库，它能够从各种食谱网站提取结构化数据，如食材、步骤、营养信息等。下面我将介绍如何使用这个库。

安装

go get github.com/kkyr/go-recipe

基本用法

1. 从URL抓取食谱

package main

import (
	"fmt"
	"log"

	"github.com/kkyr/go-recipe/pkg/recipe"
)

func main() {
	// 示例食谱URL
	url := "https://www.allrecipes.com/recipe/158968/spinach-and-feta-turkey-burgers/"

	// 创建抓取器
	scraper, err := recipe.NewScraper(url)
	if err != nil {
		log.Fatalf("创建抓取器失败: %v", err)
	}

	// 抓取食谱数据
	recipe, err := scraper.Scrape()
	if err != nil {
		log.Fatalf("抓取失败: %v", err)
	}

	// 打印食谱信息
	fmt.Printf("食谱标题: %s\n", recipe.Name)
	fmt.Printf("作者: %s\n", recipe.Author)
	fmt.Printf("准备时间: %s\n", recipe.PrepTime)
	fmt.Printf("烹饪时间: %s\n", recipe.CookTime)
	fmt.Printf("总时间: %s\n", recipe.TotalTime)
	fmt.Printf("份量: %s\n", recipe.Yield)
	fmt.Printf("评分: %.1f/5 (%d票)\n", recipe.Rating.Value, recipe.Rating.Count)
	
	fmt.Println("\n食材:")
	for _, ingredient := range recipe.Ingredients {
		fmt.Printf("- %s\n", ingredient)
	}
	
	fmt.Println("\n步骤:")
	for i, instruction := range recipe.Instructions {
		fmt.Printf("%d. %s\n", i+1, instruction)
	}
	
	fmt.Println("\n营养信息:")
	for k, v := range recipe.Nutrition {
		fmt.Printf("%s: %s\n", k, v)
	}
}

2. 支持的网站

go-recipe支持许多流行的食谱网站，包括：

• AllRecipes
• BBC Good Food
• Bon Appétit
• Epicurious
• Food Network
• 以及更多…

你可以通过recipe.SupportedDomains()查看完整列表：

func main() {
	domains := recipe.SupportedDomains()
	fmt.Println("支持的网站:")
	for _, domain := range domains {
		fmt.Println("-", domain)
	}
}

高级功能

1. 自定义HTTP客户端

func main() {
	client := &http.Client{
		Timeout: 30 * time.Second,
	}
	
	scraper, err := recipe.NewScraper(
		"https://www.example.com/recipe",
		recipe.WithHTTPClient(client),
	)
	// ...
}

2. 处理图片

func main() {
	scraper, err := recipe.NewScraper(url)
	// ...
	
	recipe, err := scraper.Scrape()
	// ...
	
	// 获取食谱图片URL
	if recipe.Image != nil {
		fmt.Printf("图片URL: %s\n", recipe.Image.URL)
		fmt.Printf("图片宽度: %d\n", recipe.Image.Width)
		fmt.Printf("图片高度: %d\n", recipe.Image.Height)
	}
}

3. 处理分类和标签

func main() {
	scraper, err := recipe.NewScraper(url)
	// ...
	
	recipe, err := scraper.Scrape()
	// ...
	
	fmt.Println("分类:")
	for _, category := range recipe.Categories {
		fmt.Println("-", category)
	}
	
	fmt.Println("标签:")
	for _, keyword := range recipe.Keywords {
		fmt.Println("-", keyword)
	}
}

注意事项

1. 在使用前请检查目标网站的robots.txt文件，确保允许爬取
2. 合理设置请求间隔，避免对网站造成过大负担
3. 网站结构可能变化，需要定期更新解析逻辑
4. 考虑使用缓存机制避免重复抓取

错误处理

func main() {
	scraper, err := recipe.NewScraper(url)
	if err != nil {
		switch {
		case errors.Is(err, recipe.ErrDomainNotSupported):
			fmt.Println("不支持的网站域名")
		case errors.Is(err, recipe.ErrInvalidURL):
			fmt.Println("无效的URL")
		default:
			fmt.Printf("未知错误: %v\n", err)
		}
		return
	}
	
	recipe, err := scraper.Scrape()
	if err != nil {
		fmt.Printf("抓取失败: %v\n", err)
		return
	}
	// ...
}

go-recipe是一个强大的工具，可以大大简化从各种食谱网站提取结构化数据的过程。通过合理使用，你可以构建自己的食谱数据库、分析工具或个性化推荐系统。