您好！我是“筋斗云上”，请多关照！
第一篇 文本切分
文本切分包含 两个步骤：句子切分、词语切分
一、句子切分
句子切分是将文本语料库分解成句子的过程，句子 切分基本技术是在句子之间寻找特定的分隔符，例如句号（.）换行符（\n）或者分号（；）等。 NLTK框架常用的句子切分器有：
- sent_tokenize
- PunkSentenceTokenizer
- RegexpTokenizer
- 预先训练的句子切分模型
关于sent_tokenize，以NLTK中的古腾堡（gutenberg）语料库为例
import nltk
from nltk.corpus import gutenberg
alice=gutenberg.raw(fileids='carroll-alice.txt')
st=nltk.sent_tokenize
alice_sentences=st(text=alice)
print('"爱丽丝"中的句子总数：', len(alice_sentences))
print('-'*50)
print('"爱丽丝"的前5句：\n ', alice_sentences[0:5])
运行结果
