Python中使用word2vec训练词向量，分词后依然没有对应词怎么办？

遇到这种情况，通常是训练语料里没这个词。Word2vec只会为训练时见过的词生成向量。如果分词后某个词不在词汇表里，那它就没对应的向量。

处理办法很简单，要么扩大训练语料让模型学到这个词，要么用预训练模型。用gensim的话，可以这样处理：

from gensim.models import Word2Vec
import jieba

# 假设这是你的训练数据
sentences = [list(jieba.cut("这是一个测试句子")), 
             list(jieba.cut("另一个训练文本"))]

# 训练模型
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)

# 检查词是否存在
word = "测试"
if word in model.wv:
    vector = model.wv[word]
    print(f"找到词向量，维度：{vector.shape}")
else:
    print(f"词汇表中没有'{word}'")
    
# 对于OOV词，可以尝试找相似词
if word not in model.wv:
    similar_words = model.wv.most_similar(positive=[word], topn=3) if word in model.wv else []
    print(f"建议使用这些相似词：{similar_words}")

如果必须处理未登录词，可以考虑：

1. 用fastText代替Word2vec，它能通过子词信息处理新词
2. 使用更大的预训练中文词向量
3. 检查分词是否正确，有时候是分词工具没切出那个词

总结：要么扩充语料，要么换用fastText。

统一是 utf-8，在 ubuntu 上搞的，应该没有编码问题，但是"." “,” “000” " "这样的也会提示 oov