jieba分词关键字含英文和特殊字符的处理方法
1.默认情况
作者：EdwardDa
语句中关键字在含有英文和特殊字符时(machine-1234)，使用jieba往往将我们的关键词分割的非常零碎，比如：
# 默认情况
import jieba
str1 = "查找machine-1234的产品说明书"
for w in jieba.cut(str1):
print(w)
# 运行结果
>>>查找
>>>machine
>>>-
>>>1234
>>>的
>>>产品
>>>说明书
2.利用自定义字典
通常情况下，我们可以加载预定义字典来包含词库里不存在的词，以达到正确分词的效果
# 利用用户自定义字典
import jieba
str1 = "查找machine-1234的产品说明书"
jieba.load_userdict("./external_dict/machines.txt")
for w in jieba.cut(str1):
print(w)
# 运行结果
>>>查找
>>>machine-1234
>>>的
>>>产品
>>>说明书
3.利用正则表达式
但是，面对成千上万需要定义的关键字时(比如：machine-1到machine:b-123:*:*robot)，我们倾向于找到关键词的特定模式，通过利用正则表达式的方法，先提取关键词，再利用jieba.add_word()动态修改字典，这是一个更有效的方法。
import re
import jieba
str1 = "查找machine-1234的产品说明书instruction:*:*:yyyy:2020"
# 动态添加词组
spec_words = re.findall('[-.*:a-zA-Z0-9]+', str1)
for word in spec_words:
jieba.add_word(word, tag='nz')
# 修改jieba包init.py中正则表达式
jieba.re_han_default = re.compile('(.+)', re.U)
for w in jieba.cut(str1):
print(w)
# 运行结果
>>>查找
>>>machine-1234
>>>的
>>>产品
>>>说明书
>>>instruction:*:*:yyyy:2020
作者：EdwardDa
相关文章
Rae
2021-03-22
Serwa
2020-03-20
Bunny
2021-05-19
Rae
2023-07-22
Rhoda
2023-07-22
Hester
2023-07-22
Grace
2023-07-22
Vanna
2023-07-22
Peony
2023-07-22
Dorothy
2023-07-22
Dulcea
2023-07-22
Zandra
2023-07-22
Serafina
2023-07-24
Kathy
2023-08-08
Olivia
2023-08-08
Elina
2023-08-08
Jacinthe
2023-08-08