第 一 章

搭建自然语言处理开发环境

工欲善其事,必先利其器

一、为何选择 Python

自然语言处理的实验讲究快速试错:今天读一篇论文,明天就希望能跑通一个分词模型。Python 凭借简洁的语法、丰富的第三方库和活跃的社区,成为 NLP 领域当之无愧的第一语言。

本章我们将在 Windows 环境下,搭好一套完整的 NLP 工作台:

Python
运行时
建议 3.9 及以上版本,绝大多数 NLP 库均已支持。
Anaconda
发行版
自带 Python 与 conda,便于管理相互隔离的环境。
Jupyter
实验本
逐格运行代码、即时看图看结果,学习利器。
VS Code
编辑器
轻量免费,Python 与 Jupyter 插件成熟。
环境搭建是所有学习中最「不值一提」却最容易劝退新人的一关。一次配齐,受益全书。

二、安装 Anaconda

不建议直接安装官网裸 Python——Anaconda 一次性解决了 Python 解释器、包管理器 conda、Jupyter 和常用科学计算库。

  1. 下载:访问 Anaconda 官方下载页(anaconda.com/download),选择 Windows 64-Bit 的安装包。
  2. 运行安装程序:一路 Next 即可。安装类型建议选择 Just Me,路径保持默认或不含中文与空格的目录(如 D:\Anaconda3)。
  3. 关键勾选项:安装时可勾选「Add Anaconda3 to my PATH environment variable」之外的推荐项;不勾 PATH 也无妨,使用 Anaconda Prompt 即可。
  4. 验证:打开「Anaconda Prompt」,输入以下命令,能看到版本号即安装成功。
bash · Anaconda Promptpython --version
conda --version
安装路径中若含有中文或空格,日后部分库(尤其涉及 C 编译的库)可能报莫名其妙的错误,请从一开始就避开。

三、包管理:conda 与 pip

做实验时,不同项目依赖的库版本常常打架。虚拟环境就是给每个项目一间独立的房间。

bash · 创建并激活名为 nlp 的环境# 创建一个 Python 3.10 的独立环境
conda create -n nlp python=3.10 -y

# 进入该环境(命令行前出现 (nlp) 字样即成功)
conda activate nlp

# 退出环境
conda deactivate

装库有两个工具:conda install 与 pip install。通用原则是优先 pip,conda 兜底——pip 上的 NLP 库更新更快。

bash · 升级 pip 并换国内镜像(可选,加速下载)python -m pip install --upgrade pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

常用环境管理命令一览:

操作命令说明
查看所有环境conda env list星号为当前环境
安装包pip install jiebaconda 环境中同样可用 pip
指定版本pip install "numpy<2.0"解决版本兼容问题
查看已装包pip list确认安装结果
导出环境pip freeze > requirements.txt便于在他处复现

四、Jupyter Notebook

Jupyter Notebook 是一个浏览器中的交互式笔记本:代码、运行结果、图表、笔记文字可以并存,非常适合学习 NLP 时逐段验证想法。Anaconda 已内置,无需另装。

bash · 启动 Jupyterconda activate nlp
jupyter notebook

执行后浏览器会自动打开工作目录页面。点击右上角 New → Python 3 新建一个笔记本:

  • 每个灰白方框称为一个 Cell(单元格),输入代码后按 Shift + Enter 运行并跳到下一格;
  • 单元格可切换为 Markdown 模式,用来写公式、记笔记;
  • 也可以安装更新代的 JupyterLab:pip install jupyterlab,启动命令为 jupyter lab。

五、安装 NLP 常用库

在 nlp 环境中,一次装齐本书将用到的主要库:

bash · NLP 全家桶# 中文分词与关键词提取(必装,轻量零依赖)
pip install jieba

# 英文处理经典教学库
pip install nltk

# 工业级多语言 NLP(英文效果尤佳)
pip install spacy

# 机器学习与文本特征(向量化、分类器)
pip install scikit-learn

# 词向量与主题模型
pip install gensim

# 数据处理与可视化
pip install pandas matplotlib

# 中文 NLP 全能选手(体积较大,按需安装)
pip install hanlp

各库分工与本书对应章节:

库擅长章节
jieba中文分词、词性标注、关键词第 3、4 章
NLTK英文语料、分词、词干提取教学第 2、3 章
spaCy / HanLP词性、命名实体、依存句法第 3、6 章
scikit-learn文本向量化、情感分类第 5、8 章
gensimWord2Vec、TF-IDF、LDA第 4、5 章
NLTK 首次使用语料或模型时,需要在 Python 中执行 import nltk; nltk.download() 打开下载器,勾选所需数据包(如 punkt、stopwords)。

六、验证与首个程序

在 Jupyter 中新建笔记本,运行下面的代码——若成功输出三个词语,环境便大功告成:

python · hello_nlp.pyimport jieba

text = "自然语言处理让计算机读懂人类的语言"
words = jieba.lcut(text)
print(words)
# ['自然语言', '处理', '让', '计算机', '读懂', '人类', '的', '语言']

如果你愿意,现在就可以跳到第三章的交互演示,在浏览器里先玩一次分词——原理是一模一样的「正向最大匹配」。

七、编辑器与环境清单

Jupyter 适合做实验,写完整项目则推荐 VS Code(免费)或 PyCharm(学生可申请免费授权)。VS Code 安装时勾选「Python」与「Jupyter」两个官方扩展,即可在编辑器内获得自动补全、调试与笔记本支持。

出关前的自查清单

  • ☑️ 能在 Anaconda Prompt 中 conda activate nlp 进入独立环境
  • ☑️ python 版本为 3.9 以上
  • ☑️ jupyter notebook 可正常启动并新建笔记本
  • ☑️ import jieba 不报错,并能切分一个句子
  • ☑️ pip 下载速度正常(必要时已配置国内镜像)
室既已洁,器既已利。下一章,我们去备粮——构建语料库。