Golang Go语言中并发读写文件问题

发布于 1周前 作者 ionicwang 来自 Go语言

想着用 Go 写个 mmap + 并发读写文件的小程序,但是加了锁后输出顺序很有问题,俩文件都不一样.

求教怎么并发按顺序写出...

var mmFile, err = mmap.Open(filename)
var size, n = mmFile.Len() / 10, 0
var merr error
var Mutex sync.Mutex
var Wg sync.WaitGroup
var buf = make([]byte, size)
for i := 0; i < mmFile.Len() && io.EOF != merr; i += len(buf) {
	Wg.Add(1)
	go func(off int64) {
		n, merr = mmFile.ReadAt(buf, off)
		Mutex.Lock()
		defer Mutex.Unlock()
		if merr != nil {
			log.Println(merr)
		}
		wFile.Write(buf[:n])
		buf = make([]byte, size)
		Wg.Done()
	}(int64(i))
}

Wg.Wait()


Golang Go语言中并发读写文件问题

更多关于Golang Go语言中并发读写文件问题的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html

Harmonyos Next教程
3 回复

可以参考 TCP 协议，每块加个 id，最后按 id 顺序写入

更多关于Golang Go语言中并发读写文件问题的实战系列教程也可以访问 https://www.itying.com/category-94-b0.html


用 channel 阻塞实现了😬

在Golang（Go语言）中处理并发读写文件时，需要考虑数据一致性和性能优化。以下是一些关键点和建议：

  1. 使用通道（Channels）进行同步： Go语言中的通道是处理并发任务的强大工具。可以通过通道来协调多个goroutine对文件的读写操作，确保数据一致性和避免竞态条件。

  2. 文件锁（File Locking）： 对于需要严格保证数据一致性的场景，可以考虑使用文件锁机制。Go标准库中没有直接提供文件锁的支持，但可以使用第三方库或系统调用（如flock）来实现。

  3. 缓冲I/O： 使用带缓冲的I/O操作（如bufio.Reader和bufio.Writer）可以提高文件读写性能。同时，合理设置缓冲区大小可以进一步优化性能。

  4. 错误处理： 在并发读写文件时，错误处理尤为重要。需要确保每个goroutine都能正确捕获并处理可能出现的错误，避免程序崩溃或数据损坏。

  5. 性能测试与调优： 使用Go语言的性能测试工具（如go test -bench）对并发读写操作进行性能测试，并根据测试结果进行调优。这有助于找到性能瓶颈并优化代码。

总之，在Go语言中处理并发读写文件时，需要综合考虑同步机制、数据一致性、性能优化和错误处理等方面。通过合理使用通道、文件锁、缓冲I/O等技术手段，可以构建高效、可靠的并发文件读写系统。

回到顶部