一、为何选择 Python
自然语言处理的实验讲究快速试错:今天读一篇论文,明天就希望能跑通一个分词模型。Python 凭借简洁的语法、丰富的第三方库和活跃的社区,成为 NLP 领域当之无愧的第一语言。
本章我们将在 Windows 环境下,搭好一套完整的 NLP 工作台:
Python
运行时
建议 3.9 及以上版本,绝大多数 NLP 库均已支持。
Anaconda
发行版
自带 Python 与 conda,便于管理相互隔离的环境。
Jupyter
实验本
逐格运行代码、即时看图看结果,学习利器。
VS Code
编辑器
轻量免费,Python 与 Jupyter 插件成熟。
环境搭建是所有学习中最「不值一提」却最容易劝退新人的一关。一次配齐,受益全书。
二、安装 Anaconda
不建议直接安装官网裸 Python——Anaconda 一次性解决了 Python 解释器、包管理器 conda、Jupyter 和常用科学计算库。
- 下载:访问 Anaconda 官方下载页(anaconda.com/download),选择 Windows 64-Bit 的安装包。
- 运行安装程序:一路 Next 即可。安装类型建议选择
Just Me,路径保持默认或不含中文与空格的目录(如D:\Anaconda3)。 - 关键勾选项:安装时可勾选「Add Anaconda3 to my PATH environment variable」之外的推荐项;不勾 PATH 也无妨,使用 Anaconda Prompt 即可。
- 验证:打开「Anaconda Prompt」,输入以下命令,能看到版本号即安装成功。
bash · Anaconda Promptpython --version
conda --version
安装路径中若含有中文或空格,日后部分库(尤其涉及 C 编译的库)可能报莫名其妙的错误,请从一开始就避开。
三、包管理:conda 与 pip
做实验时,不同项目依赖的库版本常常打架。虚拟环境就是给每个项目一间独立的房间。
bash · 创建并激活名为 nlp 的环境# 创建一个 Python 3.10 的独立环境
conda create -n nlp python=3.10 -y
# 进入该环境(命令行前出现 (nlp) 字样即成功)
conda activate nlp
# 退出环境
conda deactivate
装库有两个工具:conda install 与 pip install。通用原则是优先 pip,conda 兜底——pip 上的 NLP 库更新更快。
bash · 升级 pip 并换国内镜像(可选,加速下载)python -m pip install --upgrade pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
常用环境管理命令一览:
| 操作 | 命令 | 说明 |
|---|---|---|
| 查看所有环境 | conda env list | 星号为当前环境 |
| 安装包 | pip install jieba | conda 环境中同样可用 pip |
| 指定版本 | pip install "numpy<2.0" | 解决版本兼容问题 |
| 查看已装包 | pip list | 确认安装结果 |
| 导出环境 | pip freeze > requirements.txt | 便于在他处复现 |
四、Jupyter Notebook
Jupyter Notebook 是一个浏览器中的交互式笔记本:代码、运行结果、图表、笔记文字可以并存,非常适合学习 NLP 时逐段验证想法。Anaconda 已内置,无需另装。
bash · 启动 Jupyterconda activate nlp
jupyter notebook
执行后浏览器会自动打开工作目录页面。点击右上角 New → Python 3 新建一个笔记本:
- 每个灰白方框称为一个 Cell(单元格),输入代码后按
Shift + Enter运行并跳到下一格; - 单元格可切换为 Markdown 模式,用来写公式、记笔记;
- 也可以安装更新代的 JupyterLab:
pip install jupyterlab,启动命令为jupyter lab。
五、安装 NLP 常用库
在 nlp 环境中,一次装齐本书将用到的主要库:
bash · NLP 全家桶# 中文分词与关键词提取(必装,轻量零依赖)
pip install jieba
# 英文处理经典教学库
pip install nltk
# 工业级多语言 NLP(英文效果尤佳)
pip install spacy
# 机器学习与文本特征(向量化、分类器)
pip install scikit-learn
# 词向量与主题模型
pip install gensim
# 数据处理与可视化
pip install pandas matplotlib
# 中文 NLP 全能选手(体积较大,按需安装)
pip install hanlp
各库分工与本书对应章节:
| 库 | 擅长 | 章节 |
|---|---|---|
| jieba | 中文分词、词性标注、关键词 | 第 3、4 章 |
| NLTK | 英文语料、分词、词干提取教学 | 第 2、3 章 |
| spaCy / HanLP | 词性、命名实体、依存句法 | 第 3、6 章 |
| scikit-learn | 文本向量化、情感分类 | 第 5、8 章 |
| gensim | Word2Vec、TF-IDF、LDA | 第 4、5 章 |
NLTK 首次使用语料或模型时,需要在 Python 中执行
import nltk; nltk.download() 打开下载器,勾选所需数据包(如 punkt、stopwords)。六、验证与首个程序
在 Jupyter 中新建笔记本,运行下面的代码——若成功输出三个词语,环境便大功告成:
python · hello_nlp.pyimport jieba
text = "自然语言处理让计算机读懂人类的语言"
words = jieba.lcut(text)
print(words)
# ['自然语言', '处理', '让', '计算机', '读懂', '人类', '的', '语言']
如果你愿意,现在就可以跳到第三章的交互演示,在浏览器里先玩一次分词——原理是一模一样的「正向最大匹配」。
七、编辑器与环境清单
Jupyter 适合做实验,写完整项目则推荐 VS Code(免费)或 PyCharm(学生可申请免费授权)。VS Code 安装时勾选「Python」与「Jupyter」两个官方扩展,即可在编辑器内获得自动补全、调试与笔记本支持。
出关前的自查清单
- ☑️ 能在 Anaconda Prompt 中
conda activate nlp进入独立环境 - ☑️
python版本为 3.9 以上 - ☑️
jupyter notebook可正常启动并新建笔记本 - ☑️
import jieba不报错,并能切分一个句子 - ☑️ pip 下载速度正常(必要时已配置国内镜像)
室既已洁,器既已利。下一章,我们去备粮——构建语料库。