python之中文分词
目录
1、安装和使用jieba
2、分词练习
3、为jieba添加自定义的词典
4、知识点普及
1）分词文件怎么写
2）jieba.cut()参数说明
5、搜索引擎模式
1、安装和使用jieba
直接用命令：pip3 install jieba就可以了，如图所示表示成功。
2、分词练习
import jieba
if __name__ == '__main__':
seg_gu=jieba.cut("故宫的重要景点：乾清宫", cut_all=False)
print("Full Mode:", '/'.join(seg_gu))
结果：Prefix dict has been built successfully.
Full Mode: 故宫/的/重要/景点/：/乾/清宫
可以看到“乾清宫”在分词时被分成了“乾”和“清宫”。这样是不对的，怎么办？
3、为jieba添加自定义的词典
创建一个dict.txt文件，然后在文件中写：
乾清宫 5 ns
黄琉璃瓦 4
云计算 5
李小福 2 nr
八一双鹿 nz
凯特琳 2 nz
修改代码：
import jieba
if __name__ == '__main__':
jieba.load_userdict("/Users/chengsi/Desktop/Poision/eggs/crawlers/dict.txt")
seg_gu=jieba.cut("故宫的重要景点：乾清宫", cut_all=False)
print("Full Mode:", '/'.join(seg_gu))
结果：Prefix dict has been built successfully.
Full Mode: 故宫/的/重要/景点/：/乾清宫
4、知识点普及
1）分词文件怎么写
词典格式是一个词占一行：每一行分3个部分，一部分为词语，另一部分为词频，最后为词性。ns为地点名词，nz为其它转悠名词，a是形容词，v是动词，d是副词。
2）jieba.cut()参数说明
cut_all=True 全模式； cut_all=False 精确模式
5、搜索引擎模式
# 搜索引擎模式
text="我来自北京清华大学"
qinghua=jieba.cut_for_search(text)
print("搜索引擎模式:", '/'.join(qinghua))
作者：鲜卑大帝
