Golang解析需要登录的网站时遇到问题

问题在于你的代码没有正确处理会话管理和重定向。当网站需要登录时，仅仅设置Cookie可能不够，还需要确保会话有效且遵循正确的认证流程。

以下是修复后的代码：

package main

import (
	"fmt"
	"log"
	"net/http"
	"net/http/cookiejar"
	"net/url"
	"strings"
	"time"

	"github.com/PuerkitoBio/goquery"
	cookiemonster "github.com/MercuryEngineering/CookieMonster"
)

func main() {
	// 解析Cookie文件
	cookies, err := cookiemonster.ParseFile("MyCookieFile.txt")
	if err != nil {
		log.Fatal("解析Cookie文件失败:", err)
	}

	// 创建Cookie Jar
	jar, err := cookiejar.New(nil)
	if err != nil {
		log.Fatal("创建Cookie Jar失败:", err)
	}

	// 解析目标URL
	targetURL := "MySite"
	u, err := url.Parse(targetURL)
	if err != nil {
		log.Fatal("解析URL失败:", err)
	}

	// 设置Cookie到Jar
	jar.SetCookies(u, cookies)

	// 创建HTTP客户端，启用Cookie和重定向处理
	client := &http.Client{
		Jar: jar,
		CheckRedirect: func(req *http.Request, via []*http.Request) error {
			// 在重定向时保持Cookie
			return nil
		},
		Timeout: 30 * time.Second,
	}

	// 创建请求并设置必要的Header
	req, err := http.NewRequest("GET", "MySiteDirectoryWithProducts", nil)
	if err != nil {
		log.Fatal("创建请求失败:", err)
	}

	// 设置用户代理和其他必要的Header
	req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
	req.Header.Set("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
	req.Header.Set("Accept-Language", "en-US,en;q=0.5")
	req.Header.Set("Connection", "keep-alive")

	// 发送请求
	response, err := client.Do(req)
	if err != nil {
		log.Fatal("发送请求失败:", err)
	}
	defer response.Body.Close()

	// 检查响应状态码
	if response.StatusCode != http.StatusOK {
		log.Printf("警告: 收到非200状态码: %d", response.StatusCode)
	}

	// 验证是否成功登录 - 检查响应内容是否包含登录页面特征
	doc, err := goquery.NewDocumentFromReader(response.Body)
	if err != nil {
		log.Fatal("解析HTML失败:", err)
	}

	// 检查页面标题或特定元素来判断是否在登录页面
	pageTitle := doc.Find("title").Text()
	if strings.Contains(strings.ToLower(pageTitle), "login") || 
	   strings.Contains(strings.ToLower(pageTitle), "sign in") {
		log.Fatal("仍然在登录页面，Cookie可能已过期或无效")
	}

	// 如果成功进入商品页面，提取链接
	fmt.Println("成功访问商品页面，提取链接:")
	doc.Find("body a").Each(func(index int, item *goquery.Selection) {
		link, exists := item.Attr("href")
		if exists {
			linkText := item.Text()
			fmt.Printf("Link #%d: '%s' - '%s'\n", index, strings.TrimSpace(linkText), link)
		}
	})

	// 调试信息：显示当前Cookie
	fmt.Printf("\n当前会话Cookie数量: %d\n", len(jar.Cookies(u)))
	for i, cookie := range jar.Cookies(u) {
		fmt.Printf("Cookie %d: %s=%s\n", i+1, cookie.Name, cookie.Value)
	}
}

如果仍然遇到问题，可以添加会话验证功能：

// 验证会话是否有效
func validateSession(client *http.Client, baseURL string) bool {
	req, err := http.NewRequest("GET", baseURL, nil)
	if err != nil {
		return false
	}

	resp, err := client.Do(req)
	if err != nil {
		return false
	}
	defer resp.Body.Close()

	// 检查响应中是否包含登录相关的关键词
	doc, err := goquery.NewDocumentFromReader(resp.Body)
	if err != nil {
		return false
	}

	// 检查页面是否包含登录表单或登录相关文本
	hasLoginForm := doc.Find("input[type='password']").Length() > 0
	hasLoginText := strings.Contains(strings.ToLower(doc.Text()), "login") || 
				   strings.Contains(strings.ToLower(doc.Text()), "sign in")
	
	return !hasLoginForm && !hasLoginText
}

主要修复点：

1. 使用自定义请求而非简单的client.Get()，以便设置必要的HTTP Header
2. 添加重定向处理确保Cookie在重定向过程中保持
3. 添加会话验证逻辑检查是否成功登录
4. 改进错误处理和调试信息输出
5. 添加超时设置防止请求挂起