Golang中如何遍历CSV文件并将数据存入API函数使用的变量

以下是结合两段代码的解决方案，用于遍历CSV文件中的电话号码，调用API查询，并将结果写入新的CSV文件。该方案考虑了处理大文件时的内存效率，通过逐行读取而非一次性加载全部数据。

package main

import (
    "encoding/csv"
    "encoding/json"
    "fmt"
    "log"
    "os"
    "strconv"
    "strings"
    "net/http"
    "io/ioutil"
)

type CsvLine struct {
    Column1 string
}

func decodeJson(m map[string]interface{}) []string {
    values := make([]string, 0, len(m))
    for _, v := range m {
        switch vv := v.(type) {
        case map[string]interface{}:
            for _, value := range decodeJson(vv) {
                values = append(values, value)
            }
        case string:
            values = append(values, vv)
        case float64:
            values = append(values, strconv.FormatFloat(vv, 'f', -1, 64))
        case []interface{}:
            // 处理数组情况，根据需要添加逻辑
        case bool:
            values = append(values, strconv.FormatBool(vv))
        case nil:
            values = append(values, "nil")
        }
    }
    return values
}

func carrierlookup(phoneNumber string) []byte {
    url := "https://api.message360.com/api/v3/carrier/lookup.json"
    payload := strings.NewReader("phoneNumber=" + phoneNumber)

    req, err := http.NewRequest("POST", url, payload)
    if err != nil {
        log.Fatal("Failed to create request: ", err)
    }

    req.Header.Add("Content-Type", "application/x-www-form-urlencoded")
    req.Header.Add("Authorization", "Basic YOUR_AUTH_TOKEN") // 替换为实际授权信息
    req.Header.Add("Cache-Control", "no-cache")

    res, err := http.DefaultClient.Do(req)
    if err != nil {
        log.Fatal("API request failed: ", err)
    }
    defer res.Body.Close()

    body, err := ioutil.ReadAll(res.Body)
    if err != nil {
        log.Fatal("Failed to read response body: ", err)
    }

    return body
}

func main() {
    inputFilename := "input.csv"
    outputFilename := "outputfile.csv"

    // 打开输入CSV文件
    inputFile, err := os.Open(inputFilename)
    if err != nil {
        log.Fatal("Failed to open input file: ", err)
    }
    defer inputFile.Close()

    // 创建输出CSV文件
    outputFile, err := os.Create(outputFilename)
    if err != nil {
        log.Fatal("Failed to create output file: ", err)
    }
    defer outputFile.Close()

    reader := csv.NewReader(inputFile)
    writer := csv.NewWriter(outputFile)
    defer writer.Flush()

    // 逐行读取输入文件
    for {
        line, err := reader.Read()
        if err != nil {
            if err.Error() == "EOF" {
                break
            }
            log.Fatal("Error reading CSV line: ", err)
        }

        if len(line) == 0 {
            continue
        }

        data := CsvLine{
            Column1: line[0],
        }

        // 调用API查询
        apiResponse := carrierlookup(data.Column1)

        var jsonData interface{}
        err = json.Unmarshal(apiResponse, &jsonData)
        if err != nil {
            log.Printf("Failed to unmarshal API response for %s: %v", data.Column1, err)
            continue
        }

        values := decodeJson(jsonData.(map[string]interface{}))

        // 写入结果到输出文件
        if err := writer.Write(values); err != nil {
            log.Fatal("Failed to write to output file: ", err)
        }
    }

    if err := writer.Error(); err != nil {
        log.Fatal("Error flushing output file: ", err)
    }

    fmt.Println("Processing completed. Results written to", outputFilename)
}

关键改进说明：

1. 逐行处理：使用reader.Read()替代ReadAll()，避免将整个文件加载到内存，适用于大文件。
2. API集成：修改carrierlookup函数以接受电话号码参数，并在主循环中为每个号码调用API。
3. 错误处理：添加了API请求和响应的错误检查，确保程序在遇到问题时不会崩溃。
4. 输出写入：在循环中逐行将API结果写入输出CSV文件，使用defer writer.Flush()确保所有数据被写入。

注意：替换YOUR_AUTH_TOKEN为实际的API授权信息。根据API响应结构，可能需要调整decodeJson函数以正确提取所需字段。如果API返回数组结构，需在case []interface{}分支中添加处理逻辑。