使用gmf进行Go语言音视频处理

gmf是FFmpeg的Go语言绑定库，它提供了对FFmpeg功能的直接访问，可以用于音视频的编解码、转码、过滤等操作。下面我将介绍gmf的基本使用方法并提供示例代码。

安装gmf

首先需要安装gmf库：

go get -u github.com/3d0c/gmf

注意：使用前需要确保系统已安装FFmpeg开发库。

基本功能示例

1. 读取视频文件信息

package main

import (
	"fmt"
	"github.com/3d0c/gmf"
	"log"
)

func main() {
	// 打开输入文件
	inputCtx, err := gmf.NewInputCtx("input.mp4")
	if err != nil {
		log.Fatal(err)
	}
	defer inputCtx.Free()

	// 打印流信息
	fmt.Printf("File contains %d streams\n", inputCtx.StreamsCnt())
	for i := 0; i < inputCtx.StreamsCnt(); i++ {
		stream := inputCtx.GetStream(i)
		if stream == nil {
			log.Fatal("Unable to get stream")
		}
		fmt.Printf("Stream %d: %s\n", i, stream.CodecCtx().Codec().LongName())
	}
}

2. 视频转码示例

package main

import (
	"log"
	"github.com/3d0c/gmf"
)

func main() {
	inputCtx, err := gmf.NewInputCtx("input.mp4")
	if err != nil {
		log.Fatal(err)
	}
	defer inputCtx.Free()

	// 创建输出上下文
	outputCtx, err := gmf.NewOutputCtx("output.mp4")
	if err != nil {
		log.Fatal(err)
	}
	defer outputCtx.Free()

	// 查找视频流
	videoStream, err := inputCtx.GetBestStream(gmf.AVMEDIA_TYPE_VIDEO)
	if err != nil {
		log.Fatal(err)
	}

	// 创建输出视频流
	outputVideoStream := outputCtx.NewStream()
	if outputVideoStream == nil {
		log.Fatal("Unable to create stream in output context")
	}

	// 配置输出编解码器
	codec, err := gmf.FindEncoder("libx264")
	if err != nil {
		log.Fatal(err)
	}

	outputVideoCodecCtx := gmf.NewCodecCtx(codec)
	outputVideoCodecCtx.SetWidth(videoStream.CodecCtx().Width())
	outputVideoCodecCtx.SetHeight(videoStream.CodecCtx().Height())
	outputVideoCodeCtx.SetTimeBase(videoStream.TimeBase().AVR())
	outputVideoCodecCtx.SetPixFmt(gmf.AV_PIX_FMT_YUV420P)
	
	if err := outputVideoCodecCtx.Open(nil); err != nil {
		log.Fatal(err)
	}
	outputVideoStream.SetCodecCtx(outputVideoCodecCtx)

	// 写入文件头
	if err := outputCtx.WriteHeader(); err != nil {
		log.Fatal(err)
	}

	// 处理帧
	for packet := range inputCtx.GetNewPackets() {
		if packet.StreamIndex() != videoStream.Index() {
			continue
		}

		frames, err := videoStream.CodecCtx().Decode(packet)
		if err != nil {
			log.Printf("Error decoding packet: %s", err)
			continue
		}

		for _, frame := range frames {
			// 转换帧格式
			swsCtx := gmf.NewSwsCtx(
				videoStream.CodecCtx(),
				outputVideoCodecCtx,
				gmf.SWS_BICUBIC,
			)
			defer swsCtx.Free()

			dstFrame := gmf.NewFrame().
				SetWidth(outputVideoCodecCtx.Width()).
				SetHeight(outputVideoCodecCtx.Height()).
				SetFormat(outputVideoCodecCtx.PixFmt())
			defer dstFrame.Free()

			if err := swsCtx.Scale(frame, dstFrame); err != nil {
				log.Printf("Error scaling frame: %s", err)
				continue
			}

			// 编码帧
			pkts, err := outputVideoCodecCtx.Encode(dstFrame, -1)
			if err != nil {
				log.Printf("Error encoding frame: %s", err)
				continue
			}

			// 写入输出文件
			for _, pkt := range pkts {
				pkt.SetStreamIndex(outputVideoStream.Index())
				pkt.SetPts(outputVideoStream.Pts())
				pkt.SetDts(outputVideoStream.Dts())
				
				if err := outputCtx.WritePacket(pkt); err != nil {
					log.Printf("Error writing packet: %s", err)
				}
				
				outputVideoStream.IncrPts()
				outputVideoStream.IncrDts()
				pkt.Free()
			}
		}
		frame.Free()
	}

	// 写入文件尾
	if err := outputCtx.WriteTrailer(); err != nil {
		log.Fatal(err)
	}
}

3. 提取音频

package main

import (
	"log"
	"github.com/3d0c/gmf"
)

func extractAudio(inputFile, outputFile string) error {
	inputCtx, err := gmf.NewInputCtx(inputFile)
	if err != nil {
		return err
	}
	defer inputCtx.Free()

	outputCtx, err := gmf.NewOutputCtx(outputFile)
	if err != nil {
		return err
	}
	defer outputCtx.Free()

	audioStream, err := inputCtx.GetBestStream(gmf.AVMEDIA_TYPE_AUDIO)
	if err != nil {
		return err
	}

	outputStream := outputCtx.NewStream()
	if outputStream == nil {
		return err
	}

	codec, err := gmf.FindEncoder("aac")
	if err != nil {
		return err
	}

	outputCodecCtx := gmf.NewCodecCtx(codec)
	outputCodecCtx.SetSampleRate(audioStream.CodecCtx().SampleRate())
	outputCodecCtx.SetBitRate(audioStream.CodecCtx().BitRate())
	outputCodecCtx.SetChannels(audioStream.CodecCtx().Channels())
	outputCodecCtx.SetSampleFmt(audioStream.CodecCtx().SampleFmt())
	outputCodecCtx.SetTimeBase(audioStream.TimeBase().AVR())

	if err := outputCodecCtx.Open(nil); err != nil {
		return err
	}
	outputStream.SetCodecCtx(outputCodecCtx)

	if err := outputCtx.WriteHeader(); err != nil {
		return err
	}

	for packet := range inputCtx.GetNewPackets() {
		if packet.StreamIndex() != audioStream.Index() {
			packet.Free()
			continue
		}

		frames, err := audioStream.CodecCtx().Decode(packet)
		if err != nil {
			log.Printf("Error decoding packet: %s", err)
			continue
		}

		for _, frame := range frames {
			pkts, err := outputCodecCtx.Encode(frame, -1)
			if err != nil {
				log.Printf("Error encoding frame: %s", err)
				continue
			}

			for _, pkt := range pkts {
				pkt.SetStreamIndex(outputStream.Index())
				pkt.SetPts(outputStream.Pts())
				pkt.SetDts(outputStream.Dts())
				
				if err := outputCtx.WritePacket(pkt); err != nil {
					log.Printf("Error writing packet: %s", err)
				}
				
				outputStream.IncrPts()
				outputStream.IncrDts()
				pkt.Free()
			}
		}
		frame.Free()
	}

	return outputCtx.WriteTrailer()
}

func main() {
	if err := extractAudio("input.mp4", "output.aac"); err != nil {
		log.Fatal(err)
	}
}

注意事项

1. gmf是FFmpeg的低级绑定，使用时需要手动管理内存，注意及时调用Free()方法释放资源
2. 错误处理非常重要，FFmpeg操作可能会因各种原因失败
3. 性能优化需要考虑缓冲区管理、并行处理等
4. 不同版本的FFmpeg可能有API差异

gmf提供了对FFmpeg功能的直接访问，虽然使用起来比高级封装库复杂，但可以更灵活地控制音视频处理流程。对于更简单的需求，可以考虑使用goav或ffmpeg-go等更高级的封装库。