Golang服务意外停止的排查与解决方案

要排查和解决Golang服务意外停止的问题，可以从以下几个方面着手：

1. 添加完善的日志记录

首先在代码中添加详细的日志记录，特别是在启动、关闭和错误处理部分：

package main

import (
    "log"
    "net/http"
    "os"
    "time"
    
    "github.com/gin-gonic/gin"
)

func main() {
    // 设置日志输出到文件
    logFile, err := os.OpenFile("api.log", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0666)
    if err != nil {
        log.Fatal("无法打开日志文件:", err)
    }
    defer logFile.Close()
    
    log.SetOutput(logFile)
    log.SetFlags(log.LstdFlags | log.Lshortfile)
    
    log.Println("API服务启动...")
    
    router := gin.Default()
    
    // 添加恢复中间件来捕获panic
    router.Use(gin.Recovery())
    
    // 添加自定义恢复处理
    router.Use(func(c *gin.Context) {
        defer func() {
            if err := recover(); err != nil {
                log.Printf("发生panic: %v", err)
                c.JSON(http.StatusInternalServerError, gin.H{
                    "error": "内部服务器错误",
                })
            }
        }()
        c.Next()
    })
    
    // 示例路由
    router.GET("/health", func(c *gin.Context) {
        log.Println("健康检查请求")
        c.JSON(http.StatusOK, gin.H{
            "status":    "ok",
            "timestamp": time.Now().Unix(),
        })
    })
    
    // 你的其他路由...
    
    log.Println("开始监听端口...")
    if err := router.Run(":8080"); err != nil {
        log.Fatalf("服务器启动失败: %v", err)
    }
}

2. 使用进程管理工具

使用systemd或supervisord来管理服务，而不是tmux：

使用systemd（推荐）

创建服务文件 /etc/systemd/system/brbapi.service：

[Unit]
Description=BRB API Service
After=network.target

[Service]
Type=simple
User=ubuntu
WorkingDirectory=/path/to/your/src
ExecStart=/home/ubuntu/go/bin/brbapi
Restart=always
RestartSec=10
StandardOutput=journal
StandardError=journal

[Install]
WantedBy=multi-user.target

然后启用并启动服务：

sudo systemctl daemon-reload
sudo systemctl enable brbapi
sudo systemctl start brbapi

使用supervisord

安装supervisord：

sudo apt-get install supervisor

创建配置文件 /etc/supervisor/conf.d/brbapi.conf：

[program:brbapi]
command=/home/ubuntu/go/bin/brbapi
directory=/path/to/your/src
autostart=true
autorestart=true
startretries=3
stderr_logfile=/var/log/brbapi.err.log
stdout_logfile=/var/log/brbapi.out.log
user=ubuntu
environment=GIN_MODE=release

然后重新加载配置：

sudo supervisorctl reread
sudo supervisorctl update
sudo supervisorctl start brbapi

3. 添加信号处理和优雅关闭

package main

import (
    "context"
    "log"
    "net/http"
    "os"
    "os/signal"
    "syscall"
    "time"
    
    "github.com/gin-gonic/gin"
)

func main() {
    logFile, err := os.OpenFile("api.log", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0666)
    if err != nil {
        log.Fatal("无法打开日志文件:", err)
    }
    defer logFile.Close()
    log.SetOutput(logFile)
    
    router := gin.Default()
    
    // 你的路由配置...
    router.GET("/api/data", func(c *gin.Context) {
        log.Println("处理数据请求")
        c.JSON(http.StatusOK, gin.H{"data": "example"})
    })
    
    srv := &http.Server{
        Addr:    ":8080",
        Handler: router,
    }
    
    // 在goroutine中启动服务器
    go func() {
        log.Println("启动服务器在 :8080")
        if err := srv.ListenAndServe(); err != nil && err != http.ErrServerClosed {
            log.Fatalf("监听失败: %v", err)
        }
    }()
    
    // 等待中断信号以优雅地关闭服务器
    quit := make(chan os.Signal, 1)
    signal.Notify(quit, syscall.SIGINT, syscall.SIGTERM)
    <-quit
    log.Println("正在关闭服务器...")
    
    ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
    defer cancel()
    
    if err := srv.Shutdown(ctx); err != nil {
        log.Fatal("服务器强制关闭:", err)
    }
    log.Println("服务器已退出")
}

4. 添加内存和性能监控

import (
    "runtime"
    "github.com/gin-gonic/gin"
)

// 添加内存状态端点
router.GET("/debug/memory", func(c *gin.Context) {
    var m runtime.MemStats
    runtime.ReadMemStats(&m)
    
    log.Printf("内存使用 - Alloc: %v MB, TotalAlloc: %v MB, Sys: %v MB, NumGC: %v",
        m.Alloc/1024/1024, m.TotalAlloc/1024/1024, m.Sys/1024/1024, m.NumGC)
        
    c.JSON(http.StatusOK, gin.H{
        "alloc":       m.Alloc / 1024 / 1024,
        "total_alloc": m.TotalAlloc / 1024 / 1024,
        "sys":         m.Sys / 1024 / 1024,
        "num_gc":      m.NumGC,
    })
})

5. 使用AWS CloudWatch记录日志

在EC2上安装CloudWatch代理来收集日志：

# 安装CloudWatch代理
sudo yum install -y amazon-cloudwatch-agent

# 配置代理（创建配置文件）
sudo nano /opt/aws/amazon-cloudwatch-agent/etc/amazon-cloudwatch-agent.json

配置文件示例：

{
    "logs": {
        "logs_collected": {
            "files": {
                "collect_list": [
                    {
                        "file_path": "/path/to/your/api.log",
                        "log_group_name": "brbapi",
                        "log_stream_name": "{instance_id}"
                    }
                ]
            }
        }
    }
}

这些方法将帮助你更好地监控服务状态、捕获错误并在服务异常时自动重启。