python库（10）：SpaCy库实现NLP处理
1 SpaCy简介
自然语言处理（NLP）是人工智能领域中一个重要的分支。它旨在使计算机能够理解、解释和生成人类语言。Python中的SpaCy库提供了丰富的功能和工具，SpaCy是一个开源的软件库，用于处理和操作自然语言文本，可以帮助我们轻松进行各种NLP任务。相比于其他NLP库，SpaCy的特点在于其高效性和易用性。它专为处理大规模文本数据而设计，拥有快速的管道处理能力，使得它在实际项目中非常实用。
2 SpaCy安装
首先通过pip来安装SpaCy。
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple spacy
结果如下：
安装完成后，还需要下载SpaCy模型。模型包含了词汇表、语料库以及各种必需的数据资源。在这里，我们下载一个最常用的英语模型en_core_web_sm：
python -m spacy download en_core_web_sm
但是国内下载会失败，建议手动安装，下载地址如下：
Releases · explosion/spacy-models · GitHub
我这边下载的是en_core_web_lg-3.7.1
下载后到使用命令进行安装：
pip install F:/en_core_web_lg-3.7.1-py3-none-any.whl
注意：
模型后缀有sm/md/lg，sm/md/lg为描述大小的缩写：small（小）、medium（中）、large（大）。
也就是说en_core_web_sm、en_core_web_md、en_core_web_lg分别对应三种不同大小的nlp模型。主要差别在于准确率和加载时间
3 导入并加载模型
import spacy
# 记在英文模型
nlp = spacy.load('en_core_web_lg')
4 基本功能
接下来，我们来看一些SpaCy的基本功能。
4.1 文本处理和标记化
SpaCy可以将一个文本分割成独立的标记（tokens），包括单词、标点符号等。
import spacy
# 记在英文模型
nlp = spacy.load('en_core_web_lg')
# 处理文本
text = "Hello, welcome to the world of natural language processing."
doc = nlp(text)
# 打印标记化结果
for token in doc:
print(token.text)
结果如下：
4.2 词性标注
SpaCy能够识别每个词的词性（如名词、动词、形容词等）。
import spacy
# 记在英文模型
nlp = spacy.load('en_core_web_lg')
# 处理文本
text = "Hello, welcome to the world of natural language processing."
doc = nlp(text)
# 打印标记化结果
# for token in doc:
# print(token.text)
for token in doc:
print(f'{token.text}: {token.pos_}')
结果如下：
4.3 命名实体识别
命名实体识别（NER）是指识别文本中具有特定意义的实体，如人名、地名、组织机构等。
import spacy
# 记在英文模型
nlp = spacy.load('en_core_web_lg')
# 处理文本
text = "Long live China"
doc = nlp(text)
for ent in doc.ents:
print(f'{ent.text}: {ent.label_}')
结果如下：
4.4 依存解析
SpaCy能够进行句法依存解析，以理解每个词在句子中的语法关系。
import spacy
# 记在英文模型
nlp = spacy.load('en_core_web_lg')
# 处理文本
text = "Hello, welcome to the world of natural language processing."
doc = nlp(text)
for token in doc:
print(f'{token.text}: {token.dep_} -> {token.head.text}')
结果如下：
5 高级功能
5.1 词向量
词向量（Word Vectors）是用于表示单词的高维向量，能够捕捉单词间的语义关系。SpaCy支持预训练的词向量，可以直接加载和使用。
这边我换了一个模型en_core_web_md，各位可以按照上面的步骤自行安装。
import spacy
# 加载包含词向量的更大模型
nlp_large = spacy.load('en_core_web_md')
# 获取词向量
doc_large = nlp_large("king queen man woman")
for token in doc_large:
print(f'{token.text}: {token.vector[:5]}')
结果如下：
5.2 文本相似度
文本相似度计算是NLP中的常见任务之一，用于判断两个文本之间的相似程度。SpaCy的词向量可以用来计算句子或文档的相似度。
import spacy
# 加载包含词向量的更大模型
nlp_large = spacy.load('en_core_web_md')
doc1 = nlp_large("I love machine learning.")
doc2 = nlp_large("I enjoy artificial intelligence.")
similarity = doc1.similarity(doc2)
print(f'Similarity: {similarity}')
结果如下：
5.3 自定义管道组件
SpaCy允许在其处理管道中添加自定义组件，以实现更个性化的处理。这对于特定任务非常有用。
import spacy
from spacy.language import Language
@Language.component("my_component")
def my_component(doc):
# Do something to the doc here
print(f"Custom component processed:{doc}")
return doc
nlp = spacy.load('en_core_web_lg')
nlp.add_pipe("my_component", name="print_info", last=True)
print(nlp.pipe_names)
doc = nlp("This is a sentence.")
结果如下：
5.4 训练自定义模型
SpaCy还允许用户训练自己的自定义NER模型。这对于处理特定领域的文本非常有用。以下是一个简单的示例，展示了如何训练一个自定义NER模型。
import spacy
import random
from spacy.training.example import Example
# 创建空白模型
nlp = spacy.blank("en")
# 添加NER管道
ner = nlp.add_pipe("ner")
# 添加自定义实体标签
ner.add_label("GADGET")
# 定义训练数据
TRAIN_DATA = [
("Apple releases new iPhone.", {"entities": [(14, 20, "GADGET")]}),
("Google launches new Pixel phone.", {"entities": [(21, 26, "GADGET")]})
]
# 开始训练
nlp.begin_training()
for i in range(10):
random.shuffle(TRAIN_DATA)
losses = {}
for text, annotations in TRAIN_DATA:
doc = nlp.make_doc(text)
example = Example.from_dict(doc, annotations)
nlp.update([example], losses=losses)
print(losses)
# 测试自定义模型
doc = nlp("Amazon announces new Kindle.")
for ent in doc.ents:
print(ent.text, ent.label_)
结果如下：
