HarmonyOS 鸿蒙Next：基于MindSpore实现BERT对话情绪识别

摘要：本文用一个文本情感分类任务为例子来说明BERT模型的整个应用过程。

本文分享自华为云社区《【昇思25天学习打卡营打卡指南-第二十四天】基于 MindSpore 实现 BERT 对话情绪识别》，作者：JeffDing。

模型简介

BERT全称是来自变换器的双向编码器表征量（Bidirectional Encoder Representations from Transformers），与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。该模型是基于Transformer中的Encoder并加上双向的结构，因此一定要熟练掌握Transformer的Encoder的结构。

BERT模型的主要创新点都在pre-train方法上，即用了Masked Language Model和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。

在用Masked Language Model方法训练BERT的时候，随机把语料库中15%的单词做Mask操作。对于这15%的单词做Mask操作分为三种情况：80%的单词直接用[Mask]替换、10%的单词直接替换成另一个新的单词、10%的单词保持不变。

因为涉及到Question Answering (QA) 和 Natural Language Inference (NLI)之类的任务，增加了Next Sentence Prediction预训练任务，目的是让模型理解两个句子之间的联系。与Masked Language Model任务相比，Next Sentence Prediction更简单些，训练的输入是句子A和B，B有一半的几率是A的下一句，输入这两个句子，BERT模型预测B是不是A的下一句。

BERT预训练之后，会保存它的Embedding table和12层Transformer权重（BERT-BASE）或24层Transformer权重（BERT-LARGE）。使用预训练好的BERT模型可以对下游任务进行Fine-tuning，比如：文本分类、相似度判断、阅读理解等。

对话情绪识别（Emotion Detection，简称EmoTect），专注于识别智能对话场景中用户的情绪，针对智能对话场景中的用户文本，自动判断该文本的情绪类别并给出相应的置信度，情绪类型分为积极、消极、中性。对话情绪识别适用于聊天、客服等多个场景，能够帮助企业更好地把握对话质量、改善产品的用户交互体验，也能分析客服服务质量、降低人工质检成本。

安装mindnlp

pip install mindnlp<button style="position: absolute; padding: 4px 8px 0px; cursor: pointer; top: 8px; right: 8px; font-size: 14px;">复制</button>

下面以一个文本情感分类任务为例子来说明BERT模型的整个应用过程。

import os

import mindspore
from mindspore.dataset import text, GeneratorDataset, transforms
from mindspore import nn, context
from mindnlp._legacy.engine import Trainer, Evaluator
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback
from mindnlp._legacy.metrics import Accuracy
# prepare dataset
class SentimentDataset:
“”“Sentiment Dataset”""
<span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">__init__</span><span class="hljs-params">(self, path)</span>:</span>
    self.path = path
    self._labels, self._text_a = [], []
    self._load()

<span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">_load</span><span class="hljs-params">(self)</span>:</span>
    <span class="hljs-keyword">with</span> open(self.path, <span class="hljs-string">"r"</span>, encoding=<span class="hljs-string">"utf-8"</span>) <span class="hljs-keyword">as</span> f:
        dataset = f.read()
    lines = dataset.split(<span class="hljs-string">"\n"</span>)
    <span class="hljs-keyword">for</span> line <span class="hljs-keyword">in</span> lines[<span class="hljs-number">1</span>:-<span class="hljs-number">1</span>]:
        label, text_a = line.split(<span class="hljs-string">"\t"</span>)
        self._labels.append(int(label))
        self._text_a.append(text_a)

<span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">__getitem__</span><span class="hljs-params">(self, index)</span>:</span>
    <span class="hljs-keyword">return</span> self._labels[index], self._text_a[index]

<span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">__len__</span><span class="hljs-params">(self)</span>:</span>
    <span class="hljs-keyword">return</span> len(self._labels)</code><button style="position: absolute; padding: 4px 8px 0px; cursor: pointer; top: 8px; right: 8px; font-size: 14px;">复制</button></pre>  <h2><strong>数据集</strong></h2>  <p>这里提供一份已标注的、经过分词预处理的机器人聊天数据集。数据由两列组成，以制表符（’\t’）分隔，第一列是情绪分类的类别（0表示消极；1表示中性；2表示积极），第二列是以空格分词的中文文本，如下示例，文件为 utf8 编码。</p>  <p>label–text_a</p>  <p>谁骂人了？我从来不骂人，我骂的都不是人，你是人吗 ？</p>  <p>我有事等会儿就回来和你聊</p>  <p>我见到你很高兴谢谢你帮我</p>  <p>这部分主要包括数据集读取，数据格式转换，数据 Tokenize 处理和 pad 操作。</p>  <pre style="background: rgb(45, 45, 45); color: rgb(204, 204, 204); font-size: 16px; font-style: normal; font-weight: 400; letter-spacing: normal; max-width: 100%; outline: 0px; text-align: left; text-shadow: none; text-transform: none; white-space: pre; word-spacing: 0px; overflow: auto !important; padding: 5px 10px !important; position: relative;"><code style="background: rgb(45,45,45);color: rgb(204,204,204);padding: 0.0px;text-align: left;text-shadow: none;white-space: pre;word-spacing: normal;" class=" hljs cs">wget https:<span class="hljs-comment">//baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -O emotion_detection.tar.gz</span>
tar xvf emotion_detection.tar.gz<button style="position: absolute; padding: 4px 8px 0px; cursor: pointer; top: 8px; right: 8px; font-size: 14px;">复制</button>

数据加载和数据预处理

新建 process_dataset 函数用于数据加载和数据预处理，具体内容可见下面代码注释。

import numpy as np

def process_dataset(source, tokenizer, max_seq_len=64, batch_size=32, shuffle=True):
is_ascend = mindspore.get_context(‘device_target’) == ‘Ascend’
column_names = [<span class="hljs-string">"label"</span>, <span class="hljs-string">"text_a"</span>]

dataset = GeneratorDataset(source, column_names=column_names, shuffle=shuffle)
<span class="hljs-comment"># transforms</span>
type_cast_op = transforms.TypeCast(mindspore.int32)
<span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">tokenize_and_pad</span><span class="hljs-params">(text)</span>:</span>
    <span class="hljs-keyword">if</span> is_ascend:
        tokenized = tokenizer(text, padding=<span class="hljs-string">'max_length'</span>, truncation=<span class="hljs-keyword">True</span>, max_length=max_seq_len)
    <span class="hljs-keyword">else</span>:
        tokenized = tokenizer(text)
    <span class="hljs-keyword">return</span> tokenized[<span class="hljs-string">'input_ids'</span>], tokenized[<span class="hljs-string">'attention_mask'</span>]
<span class="hljs-comment"># map dataset</span>
dataset = dataset.map(operations=tokenize_and_pad, input_columns=<span class="hljs-string">"text_a"</span>, output_columns=[<span class="hljs-string">'input_ids'</span>, <span class="hljs-string">'attention_mask'</span>])
dataset = dataset.map(operations=[type_cast_op], input_columns=<span class="hljs-string">"label"</span>, output_columns=<span class="hljs-string">'labels'</span>)
<span class="hljs-comment"># batch dataset</span>
<span class="hljs-keyword">if</span> is_ascend:
    dataset = dataset.batch(batch_size)
<span class="hljs-keyword">else</span>:
    dataset = dataset.padded_batch(batch_size, pad_info={<span class="hljs-string">'input_ids'</span>: (<span class="hljs-keyword">None</span>, tokenizer.pad_token_id),
                                                     <span class="hljs-string">'attention_mask'</span>: (<span class="hljs-keyword">None</span>, <span class="hljs-number">0</span>)})

<span class="hljs-keyword">return</span> dataset</code><button style="position: absolute; padding: 4px 8px 0px; cursor: pointer; top: 8px; right: 8px; font-size: 14px;">复制</button></pre>  <p>昇腾NPU环境下暂不支持动态Shape，数据预处理部分采用静态Shape处理：</p>  <pre style="background: rgb(45, 45, 45); color: rgb(204, 204, 204); font-size: 16px; font-style: normal; font-weight: 400; letter-spacing: normal; max-width: 100%; outline: 0px; text-align: left; text-shadow: none; text-transform: none; white-space: pre; word-spacing: 0px; overflow: auto !important; padding: 5px 10px !important; position: relative;"><code style="background: rgb(45,45,45);color: rgb(204,204,204);padding: 0.0px;text-align: left;text-shadow: none;white-space: pre;word-spacing: normal;" class=" hljs python"><span class="hljs-keyword">from</span> mindnlp.transformers <span class="hljs-keyword">import</span> BertTokenizer
tokenizer = BertTokenizer.from_pretrained(‘bert-base-chinese’)
tokenizer.pad_token_id
dataset_train = process_dataset(SentimentDataset(“data/train.tsv”), tokenizer)
dataset_val = process_dataset(SentimentDataset(“data/dev.tsv”), tokenizer)
dataset_test = process_dataset(SentimentDataset(“data/test.tsv”), tokenizer, shuffle=False)
print(next(dataset_train.create_tuple_iterator()))<button style="position: absolute; padding: 4px 8px 0px; cursor: pointer; top: 8px; right: 8px; font-size: 14px;">复制</button>

模型构建

通过 BertForSequenceClassification 构建用于情感分类的 BERT 模型，加载预训练权重，设置情感三分类的超参数自动构建模型。后面对模型采用自动混合精度操作，提高训练的速度，然后实例化优化器，紧接着实例化评价指标，设置模型训练的权重保存策略，最后就是构建训练器，模型开始训练。

from mindnlp.transformers import BertForSequenceClassification, BertModel
from mindnlp._legacy.amp import auto_mixed_precision

# set bert config and define parameters for training
model = BertForSequenceClassification.from_pretrained(‘bert-base-chinese’, num_labels=3)
model = auto_mixed_precision(model, ‘O1’)
optimizer = nn.Adam(model.trainable_params(), learning_rate=2e-5)
metric = Accuracy()
# define callbacks to save checkpoints
ckpoint_cb = CheckpointCallback(save_path=‘checkpoint’, ckpt_name=‘bert_emotect’, epochs=1, keep_checkpoint_max=2)
best_model_cb = BestModelCallback(save_path=‘checkpoint’, ckpt_name=‘bert_emotect_best’, auto_load=True)
trainer = Trainer(network=model, train_dataset=dataset_train,
eval_dataset=dataset_val, metrics=metric,
epochs=5, optimizer=optimizer, callbacks=[ckpoint_cb, best_model_cb])
# start training
trainer.run(tgt_columns=“labels”)<button style="position: absolute; padding: 4px 8px 0px; cursor: pointer; top: 8px; right: 8px; font-size: 14px;">复制</button>

模型验证

将验证数据集再加进训练好的模型，对数据集进行验证，查看模型在验证数据上面的效果，此处的评价指标为准确率。

evaluator = Evaluator(network=model, eval_dataset=dataset_test, metrics=metric)
evaluator.run(tgt_columns=“labels”)<button style="position: absolute; padding: 4px 8px 0px; cursor: pointer; top: 8px; right: 8px; font-size: 14px;">复制</button>

模型推理

遍历推理数据集，将结果与标签进行统一展示。

dataset_infer = SentimentDataset(“data/infer.tsv”)

def predict(text, label=None):
label_map = {0: “消极”, 1: “中性”, 2: “积极”}
text_tokenized = Tensor([tokenizer(text).input_ids])
logits = model(text_tokenized)
predict_label = logits[<span class="hljs-number">0</span>].asnumpy().argmax()
info = f<span class="hljs-string">"inputs: '{text}', predict: '{label_map[predict_label]}'"</span>
<span class="hljs-keyword">if</span> label <span class="hljs-keyword">is</span> <span class="hljs-keyword">not</span> <span class="hljs-keyword">None</span>:
    info += f<span class="hljs-string">" , label: '{label_map[label]}'"</span>
print(info)
from mindspore import Tensor
for label, text in dataset_infer:
predict(text, label)<button style="position: absolute; padding: 4px 8px 0px; cursor: pointer; top: 8px; right: 8px; font-size: 14px;">复制</button>

自定义推理数据集

自己输入推理数据，展示模型的泛化能力。

predict(“家人们咱就是说一整个无语住了 绝绝子叠buff”)<button style="position: absolute; padding: 4px 8px 0px; cursor: pointer; top: 8px; right: 8px; font-size: 14px;">复制</button>

点击关注，第一时间了解华为云新鲜技术~