白云岛资源网 Design By www.pvray.com
1、简要说明
结巴分词支持三种分词模式，支持繁体字，支持自定义词典
2、三种分词模式
全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义
精简模式：把句子最精确的分开，不会添加多余单词，看起来就像是把句子分割一下
搜索引擎模式：在精简模式下，对长词再度切分
# -*- encoding=utf-8 -*-
import jieba
if __name__ == '__main__':
str1 = '我去北京天安门广场跳舞'
a = jieba.lcut(str1, cut_all=True) # 全模式
print('全模式:{}'.format(a))
b = jieba.lcut(str1, cut_all=False) # 精简模式
print('精简模式:{}'.format(b))
c = jieba.lcut_for_search(str1) # 搜索引擎模式
print('搜索引擎模式:{}'.format(c))
运行
3、某个词语不能被分开
# -*- encoding=utf-8 -*-
import jieba
if __name__ == '__main__':
str1 = '桃花侠大战菊花怪'
b = jieba.lcut(str1, cut_all=False) # 精简模式
print('精简模式:{}'.format(b))
# 如果不把桃花侠分开
jieba.add_word('桃花侠')
d = jieba.lcut(str1) # 默认是精简模式
print(d)
运行
4、 某个单词必须被分开
# -*- encoding=utf-8 -*-
import jieba
if __name__ == '__main__':
# HMM参数，默认为True
'''HMM 模型，即隐马尔可夫模型（Hidden Markov Model, HMM），是一种基于概率的统计分析模型，
用来描述一个系统隐性状态的转移和隐性状态的表现概率。
在 jieba 中，对于未登录到词库的词，使用了基于汉字成词能力的 HMM 模型和 Viterbi 算法，
其大致原理是：
采用四个隐含状态，分别表示为单字成词，词组的开头，词组的中间，词组的结尾。
通过标注好的分词训练集，可以得到 HMM 的各个参数，然后使用 Viterbi 算法来解释测试集，得到分词结果。
'''
str1 = '桃花侠大战菊花怪'
b = jieba.lcut(str1, cut_all=False, HMM=False) # 精简模式，且不使用HMM模型
print('精简模式:{}'.format(b))
# 分开大战为大和战
jieba.suggest_freq(('大', '战'), True)
e = jieba.lcut(str1, HMM=False) # 不使用HMM模型
print('分开:{}'.format(e))
运行
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
白云岛资源网 Design By www.pvray.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
白云岛资源网 Design By www.pvray.com
暂无评论...
一口气升级7个大模型SaaS应用，百度智能云：突出一个“开箱即用” - 2024/12/24
这一波大模型产业落地浪潮里，不少企业其实处在 “干瞪眼“的状态。
一种情况是，很多大模型产品看得见却摸不着，在台上一个个遥遥领先——今天Sora技精四座，明天英伟达的机器人又赢得满堂彩，可是到了台下一问：啥时候能用上啊？答曰：遥遥无期。
另一种情况是，企业想用上大模型，却又难免瞻前顾后——既要考虑场景融合，又得兼顾安全性，还要考虑打通现有系统，再加上各种部署成本和繁琐的采购流程……最后只能拂袖：罢了，再等等吧。
这一波大模型产业落地浪潮里，不少企业其实处在 “干瞪眼“的状态。
一种情况是，很多大模型产品看得见却摸不着，在台上一个个遥遥领先——今天Sora技精四座，明天英伟达的机器人又赢得满堂彩，可是到了台下一问：啥时候能用上啊？答曰：遥遥无期。
另一种情况是，企业想用上大模型，却又难免瞻前顾后——既要考虑场景融合，又得兼顾安全性，还要考虑打通现有系统，再加上各种部署成本和繁琐的采购流程……最后只能拂袖：罢了，再等等吧。
稳了！魔兽国服回归的3条重磅消息！官宣时间再确认！
昨天有一位朋友在大神群里分享，自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址，com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后，确实是网易的网址，也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情，因为以前都没有出现这样的情况，现在突然提示跳转到国服战网的网址，是不是说明了简体中文客户端已经开始进行更新了呢？