Golang英文文本处理与命名实体识别插件库prose的使用

prose是一个纯Go语言编写的自然语言处理库(目前仅支持英文)，支持分词、句子分割、词性标注和命名实体识别。

安装

$ go get github.com/jdkato/prose/v2

使用示例

基础用法

package main

import (
    "fmt"
    "log"

    "github.com/jdkato/prose/v2"
)

func main() {
    // 使用默认配置创建新文档
    doc, err := prose.NewDocument("Go is an open-source programming language created at Google.")
    if err != nil {
        log.Fatal(err)
    }

    // 遍历文档中的token
    for _, tok := range doc.Tokens() {
        fmt.Println(tok.Text, tok.Tag, tok.Label)
        // Go NNP B-GPE
        // is VBZ O
        // an DT O
        // ...
    }

    // 遍历文档中的命名实体
    for _, ent := range doc.Entities() {
        fmt.Println(ent.Text, ent.Label)
        // Go GPE
        // Google GPE
    }

    // 遍历文档中的句子
    for _, sent := range doc.Sentences() {
        fmt.Println(sent.Text)
        // Go is an open-source programming language created at Google.
    }
}

文档创建过程遵循以下步骤序列：

tokenization -> POS tagging -> NE extraction
            \
             segmentation

禁用特定功能

可以通过传递适当的功能选项来禁用特定步骤：

doc, err := prose.NewDocument(
        "Go is an open-source programming language created at Google.",
        prose.WithExtraction(false))

分词(Tokenizing)

prose包含一个能够处理现代文本的分词器，包括以下非单词字符：

package main

import (
    "fmt"
    "log"

    "github.com/jdkato/prose/v2"
)

func main() {
    // 创建新文档
    doc, err := prose.NewDocument("@jdkato, go to http://example.com thanks :).")
    if err != nil {
        log.Fatal(err)
    }

    // 遍历token
    for _, tok := range doc.Tokens() {
        fmt.Println(tok.Text, tok.Tag)
        // @jdkato NN
        // , ,
        // go VB
        // to TO
        // http://example.com NN
        // thanks NNS
        // :) SYM
        // . .
    }
}

句子分割(Segmenting)

prose包含目前最准确的句子分割器之一。

package main

import (
    "fmt"
    "strings"

    "github.com/jdkato/prose/v2"
)

func main() {
    // 创建新文档
    doc, _ := prose.NewDocument(strings.Join([]string{
        "I can see Mt. Fuji from here.",
        "St. Michael's Church is on 5th st. near the light."}, " "))

    // 遍历句子
    sents := doc.Sentences()
    fmt.Println(len(sents)) // 2
    for _, sent := range sents {
        fmt.Println(sent.Text)
        // I can see Mt. Fuji from here.
        // St. Michael's Church is on 5th st. near the light.
    }
}

词性标注(Tagging)

prose包含基于Textblob的"快速准确"POS标注器。以下是支持的全部POS标签：

命名实体识别(NER)

prose v2.0.0包含一个改进版的命名实体识别功能，默认可以识别人名(PERSON)和地理/政治实体(GPE)。

package main

import (
    "fmt"
    "github.com/jdkato/prose/v2"
)

func main() {
    doc, _ := prose.NewDocument("Lebron James plays basketball in Los Angeles.")
    for _, ent := range doc.Entities() {
        fmt.Println(ent.Text, ent.Label)
        // Lebron James PERSON
        // Los Angeles GPE
    }
}