Golang自然语言处理与潜在语义分析(LSA)插件库nlp的使用

概述

nlp是一个Go语言实现的自然语言处理库，专注于支持语义分析和检索语义相似文档的统计语义学。它基于Gonum线性代数包，并受到Python的scikit-learn和Gensim的启发。

主要特性

• LSA(潜在语义分析/潜在语义索引)使用截断SVD(奇异值分解)进行降维
• 使用SimHash算法快速比较和检索语义相似的文档
• 随机索引(RI)和反射随机索引(RRI)支持大规模语料库的LSA
• 使用并行SCVB0算法的LDA(潜在狄利克雷分配)进行无监督主题提取
• PCA(主成分分析)
• TF-IDF加权处理高频词
• 稀疏矩阵实现提高内存使用效率
• 停用词移除功能
• 特征哈希(哈希技巧)实现减少内存需求
• 相似性/距离度量计算

示例代码

下面是一个使用nlp库进行潜在语义分析(LSA)的完整示例：

package main

import (
	"fmt"
	"github.com/james-bowman/nlp"
	"github.com/james-bowman/nlp/measures/pairwise"
	"gonum.org/v1/gonum/mat"
)

func main() {
	// 定义文档集合
	docs := []string{
		"The quick brown fox jumped over the lazy dog",
		"Lorem ipsum dolor sit amet, consectetur adipiscing elit",
		"Dogs are great pets, but foxes are not",
		"Foxes are omnivorous mammals belonging to several genera",
		"Foxes, dogs and wolves are part of the Canidae family",
		"The quick brown fox jumped over the lazy dog. Wolves are also canids",
		"Foxes are generally smaller than wolves and have flatter skulls",
	}

	// 创建管道：先进行TF-IDF处理，然后进行LSA降维
	vectoriser := nlp.NewCountVectoriser(true)  // 停用词移除
	transformer := nlp.NewTfidfTransformer()    // TF-IDF转换
	reducer := nlp.NewTruncatedSVD(4)           // LSA降维到4维
	lsiPipeline := nlp.NewPipeline(vectoriser, transformer, reducer)

	// 将文档转换为LSA空间
	matrix, err := lsiPipeline.FitTransform(docs...)
	if err != nil {
		panic(err)
	}

	// 打印降维后的文档向量
	fmt.Println("LSA document vectors:")
	matPrint(matrix)

	// 计算文档相似度
	query := "Foxes are canids like dogs and wolves"
	fmt.Printf("\nQuery: %s\n", query)

	// 将查询转换为LSA空间
	queryVector, err := lsiPipeline.Transform(query)
	if err != nil {
		panic(err)
	}

	// 计算查询与每个文档的余弦相似度
	fmt.Println("\nCosine similarities:")
	for i, doc := range docs {
		docVec := matrix.RowView(i)
		similarity := pairwise.CosineSimilarity(queryVector.(mat.ColViewer).ColView(0), docVec)
		fmt.Printf("Doc %d: %.5f - %s\n", i+1, similarity, doc)
	}
}

// 辅助函数：打印矩阵
func matPrint(X mat.Matrix) {
	fa := mat.Formatted(X, mat.Prefix(""), mat.Squeeze())
	fmt.Printf("%v\n", fa)
}

代码说明

1. 文档预处理：

   • 使用NewCountVectoriser进行词频统计和停用词移除
   • 使用NewTfidfTransformer进行TF-IDF转换

2. LSA降维：

   • 使用NewTruncatedSVD指定降维后的维度(这里设为4)
   • 通过管道(Pipeline)将预处理和降维步骤串联起来

3. 文档转换：

   • FitTransform方法将原始文档转换为LSA空间中的向量表示
   • Transform方法可以将新查询转换为相同的LSA空间

4. 相似度计算：

   • 使用pairwise.CosineSimilarity计算查询与文档的余弦相似度
   • 相似度值越接近1表示语义越相似

输出示例

运行上述代码将输出类似以下内容：

LSA document vectors:
⎡-0.22  -0.15   0.47  -0.12⎤
⎢-0.60   0.38   0.00   0.00⎥
⎢-0.29  -0.25  -0.24   0.00⎥
⎢-0.29  -0.25  -0.24   0.00⎥
⎢-0.42  -0.00  -0.29   0.00⎥
⎢-0.22  -0.15   0.47  -0.12⎥
⎣-0.29  -0.25  -0.24   0.00⎦

Query: Foxes are canids like dogs and wolves

Cosine similarities:
Doc 1: 0.00000 - The quick brown fox jumped over the lazy dog
Doc 2: 0.00000 - Lorem ipsum dolor sit amet, consectetur adipiscing elit
Doc 3: 0.70711 - Dogs are great pets, but foxes are not
Doc 4: 0.70711 - Foxes are omnivorous mammals belonging to several genera
Doc 5: 1.00000 - Foxes, dogs and wolves are part of the Canidae family
Doc 6: 0.70711 - The quick brown fox jumped over the lazy dog. Wolves are also canids
Doc 7: 0.70711 - Foxes are generally smaller than wolves and have flatter skulls

从输出可以看出，查询"Foxes are canids like dogs and wolves"与文档5(谈论狐狸、狗和狼都属于犬科)的相似度最高(1.0)，与其他谈论相关主题的文档也有较高相似度，而与不相关文档的相似度接近0。