Golang文档OCR处理工具 - 免费AI驱动的提示工程、PDF文本提取与图像处理工具包

这是一个很有意思的项目，结合了Go的性能和Python的AI生态。从架构上看，它很可能使用Go处理高性能的I/O和并发任务（如PDF解析、图像预处理），然后通过进程间通信调用Python的OCR和AI模型。

以下是使用Go调用外部Python处理器的一个典型模式示例：

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "os/exec"
    "log"
)

// 定义与Python处理器通信的数据结构
type OCRRequest struct {
    ImagePath    string `json:"image_path"`
    Language     string `json:"language,omitempty"`
    ExtractTable bool   `json:"extract_table,omitempty"`
}

type OCRResponse struct {
    Text         string     `json:"text"`
    Confidence   float64    `json:"confidence"`
    BoundingBoxes [][]int   `json:"bounding_boxes,omitempty"`
}

func ProcessDocumentWithAI(req OCRRequest) (*OCRResponse, error) {
    // 序列化请求
    reqJSON, err := json.Marshal(req)
    if err != nil {
        return nil, fmt.Errorf("序列化请求失败: %v", err)
    }
    
    // 调用Python处理器
    cmd := exec.Command("python", "ocr_processor.py")
    cmd.Stdin = bytes.NewReader(reqJSON)
    
    var stdout, stderr bytes.Buffer
    cmd.Stdout = &stdout
    cmd.Stderr = &stderr
    
    if err := cmd.Run(); err != nil {
        return nil, fmt.Errorf("Python处理器执行失败: %v, stderr: %s", err, stderr.String())
    }
    
    // 解析响应
    var resp OCRResponse
    if err := json.Unmarshal(stdout.Bytes(), &resp); err != nil {
        return nil, fmt.Errorf("解析响应失败: %v", err)
    }
    
    return &resp, nil
}

func main() {
    req := OCRRequest{
        ImagePath:    "document.pdf",
        Language:     "chi_sim+eng",
        ExtractTable: true,
    }
    
    resp, err := ProcessDocumentWithAI(req)
    if err != nil {
        log.Fatalf("处理失败: %v", err)
    }
    
    fmt.Printf("提取文本: %s\n", resp.Text)
    fmt.Printf("置信度: %.2f\n", resp.Confidence)
}

对应的Python处理器示例（ocr_processor.py）：

#!/usr/bin/env python3
import sys
import json
import pytesseract
from PIL import Image
import cv2
import numpy as np

def process_ocr(request):
    """处理OCR请求的核心函数"""
    # 使用pytesseract进行OCR处理
    image = cv2.imread(request['image_path'])
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    
    # 应用图像预处理
    _, thresh = cv2.threshold(gray, 150, 255, cv2.THRESH_BINARY)
    
    # 执行OCR
    custom_config = f'-l {request.get("language", "eng")} --oem 3 --psm 6'
    text = pytesseract.image_to_string(thresh, config=custom_config)
    
    # 获取置信度数据
    data = pytesseract.image_to_data(thresh, config=custom_config, output_type=pytesseract.Output.DICT)
    avg_confidence = np.mean([x for x in data['conf'] if x > 0]) / 100.0
    
    response = {
        'text': text,
        'confidence': float(avg_confidence),
        'bounding_boxes': data['left']  # 简化示例
    }
    
    return response

if __name__ == "__main__":
    # 从标准输入读取JSON请求
    request_json = sys.stdin.read()
    request = json.loads(request_json)
    
    # 处理请求
    result = process_ocr(request)
    
    # 输出JSON响应
    print(json.dumps(result))

对于PDF文本提取，Go端可以直接使用纯Go库处理：

package main

import (
    "fmt"
    "github.com/unidoc/unipdf/v3/extractor"
    "github.com/unidoc/unipdf/v3/model"
    "os"
)

func ExtractPDFText(filepath string) (string, error) {
    f, err := os.Open(filepath)
    if err != nil {
        return "", err
    }
    defer f.Close()
    
    pdfReader, err := model.NewPdfReader(f)
    if err != nil {
        return "", err
    }
    
    numPages, err := pdfReader.GetNumPages()
    if err != nil {
        return "", err
    }
    
    var fullText string
    for i := 1; i <= numPages; i++ {
        page, err := pdfReader.GetPage(i)
        if err != nil {
            continue
        }
        
        ex, err := extractor.New(page)
        if err != nil {
            continue
        }
        
        text, err := ex.ExtractText()
        if err == nil && text != "" {
            fullText += text + "\n"
        }
    }
    
    return fullText, nil
}

func main() {
    text, err := ExtractPDFText("document.pdf")
    if err != nil {
        fmt.Printf("提取失败: %v\n", err)
        return
    }
    
    fmt.Printf("提取的文本长度: %d 字符\n", len(text))
    // 这里可以将文本传递给AI提示工程模块
}

这种混合架构的关键在于高效的进程间通信和数据序列化。Go负责管理并发请求、资源池和网络服务，Python负责AI/OCR等计算密集型任务。对于生产环境，建议使用gRPC或消息队列进行通信，而不是简单的标准输入输出。