Golang 基于 DRMAA 标准的集群调度作业提交插件库 drmaa 使用指南

DRMAA (Distributed Resource Management Application API) 是一个开放标准，用于与集群资源管理系统(如 Slurm、PBS、LSF 等)进行交互。在 Go 语言中，我们可以使用 github.com/dgruber/drmaa2os 库来实现基于 DRMAA 标准的作业提交。

安装

首先安装必要的库：

go get github.com/dgruber/drmaa2os

基本使用

1. 初始化 DRMAA 会话

package main

import (
	"fmt"
	"log"
	"time"

	"github.com/dgruber/drmaa2os"
	"github.com/dgruber/drmaa2interface"
)

func main() {
	// 创建 DRMAA 会话管理器
	sessionManager, err := drmaa2os.NewDRMAASessionManager("")
	if err != nil {
		log.Fatalf("Failed to create session manager: %v", err)
	}

	// 创建新会话
	session, err := sessionManager.CreateSession("mysession")
	if err != nil {
		log.Fatalf("Failed to create session: %v", err)
	}
	defer session.Close()
	defer sessionManager.DestroySession("mysession")

2. 提交作业

	// 定义作业模板
	jt := drmaa2interface.JobTemplate{
		RemoteCommand: "/bin/sleep",  // 要执行的命令
		Args:         []string{"10"}, // 命令参数
		JobName:      "testjob",      // 作业名称
		OutputPath:   "/tmp/job.out", // 标准输出路径
		ErrorPath:    "/tmp/job.err", // 标准错误路径
	}

	// 提交作业
	jobID, err := session.RunJob(jt)
	if err != nil {
		log.Fatalf("Failed to submit job: %v", err)
	}
	fmt.Printf("Submitted job with ID: %s\n", jobID)

3. 监控作业状态

	// 等待作业完成
	fmt.Println("Waiting for job to complete...")
	for {
		state, err := session.JobState(jobID)
		if err != nil {
			log.Fatalf("Failed to get job state: %v", err)
		}

		if state == drmaa2interface.Done || state == drmaa2interface.Failed {
			fmt.Printf("Job finished with state: %s\n", state)
			break
		}

		time.Sleep(1 * time.Second)
	}

	// 获取作业信息
	jobInfo, err := session.JobInfo(jobID)
	if err != nil {
		log.Fatalf("Failed to get job info: %v", err)
	}
	fmt.Printf("Job info:\nExitStatus: %d\nSubmissionTime: %v\nDispatchTime: %v\nFinishTime: %v\n",
		jobInfo.ExitStatus, jobInfo.SubmissionTime, jobInfo.DispatchTime, jobInfo.FinishTime)
}

高级功能

批量作业提交

func submitBatchJobs(session drmaa2interface.Session) {
	jt := drmaa2interface.JobTemplate{
		RemoteCommand: "/bin/echo",
		Args:         []string{"Hello from DRMAA"},
		JobName:      "batchjob",
	}

	// 提交10个相同作业
	jobIDs, err := session.RunBulkJobs(jt, 1, 10, 1)
	if err != nil {
		log.Fatalf("Failed to submit batch jobs: %v", err)
	}

	fmt.Printf("Submitted batch jobs with IDs: %v\n", jobIDs)
}

作业阵列

func submitJobArray(session drmaa2interface.Session) {
	jt := drmaa2interface.JobTemplate{
		RemoteCommand: "/bin/echo",
		Args:         []string{"Hello from job array task ${DRMAA_JOB_ARRAY_TASK_ID}"},
		JobName:      "arrayjob",
	}

	// 提交作业阵列，任务ID从1到5
	jobID, err := session.RunJobArray(jt, 1, 5, 1)
	if err != nil {
		log.Fatalf("Failed to submit job array: %v", err)
	}

	fmt.Printf("Submitted job array with ID: %s\n", jobID)
}

注意事项

1. 环境配置：使用前需要确保系统已安装并正确配置了支持的集群调度系统(如 Slurm、PBS 等)，并且设置了正确的环境变量。

2. 资源管理器选择：drmaa2os 支持多种资源管理器，可以通过环境变量 DRMAA2_DRM_SYSTEM 指定，如：

   os.Setenv("DRMAA2_DRM_SYSTEM", "slurm")
   

3. 错误处理：DRMAA 操作可能会因各种原因失败，务必检查所有错误返回值。

4. 会话管理：确保在使用后关闭会话并清理资源，避免资源泄漏。

5. 模板选项：JobTemplate 提供了许多选项来控制作业行为，如工作目录、环境变量、资源需求等。

通过这个 DRMAA 接口库，Go 程序可以方便地与各种集群调度系统集成，实现作业的提交、监控和管理功能。