博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
jieba库使用和好玩的词云
阅读量:5981 次
发布时间:2019-06-20

本文共 1490 字,大约阅读时间需要 4 分钟。

 

 

 

ieba(结巴)是一个强大的分词库,完美支持中文分词

一、

结巴分词分为三种模式:精确模式(默认)、全模式和搜索引擎模式

精确模式:试图将句子最精确地切开,适合文本分析;

全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;

搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。

首先尝试一下精确模式

接下来试试全模式

然后是搜索引擎模式

def get_text():

txt = open("English.txt", "r", encoding='UTF-8').read()
txt = txt.lower()
for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
txt = txt.replace(ch, " ") # 将文本中特殊字符替换为空格
return txt

file_txt = get_text()

words = file_txt.split() # 对字符串进行分割,获得单词列表
counts = {}

for word in words:

if len(word) == 1:
continue
else:
counts[word] = counts.get(word, 0) + 1

items = list(counts.items())

items.sort(key=lambda x: x[1], reverse=True)

for i in range(5):

word, count = items[i]
print("{0:<5}->{1:>5}".format(word, count))

选择了一篇英语六级考试的阅读理解,然后用着代码去计算里面一些长度的词的个数

结果如下:

二、

词云的制作

完成安装jieba , wordcloud ,matplotlib

(1)打开taglue官网,点击import words,把运行的结果copy过来。

(2)选择形状,在这里是网上下载的图片进行的导入。
(3)选择字体。
(4)点击Visualize生成图片。

from wordcloud import WordCloud

import matplotlib.pyplot as plt
import jieba
def create_word_cloud(filename):
text = open("哈姆雷特.txt".format(filename)).read()
wordlist = jieba.cut(text, cut_all=True)
wl = " ".join(wordlist)

wc = WordCloud(

background_color="black",
max_words=2000,
font_path='simsun.ttf',
height=1200,
width=1600,
max_font_size=100,
random_state=100,
)
myword = wc.generate(wl)
plt.imshow(myword)
plt.axis("off")
plt.show()
wc.to_file('img_book.png')

if __name__ == '__main__':

create_word_cloud('mytext')

这里选择了一篇哈姆雷特

运行后

 

转载于:https://www.cnblogs.com/czd1/p/10649599.html

你可能感兴趣的文章
Django 向数据表中添加字段方法
查看>>
在ReportViewer中使用超链接(HyperLink)
查看>>
Django REST framework+Vue 打造生鲜超市(二)
查看>>
http://cuiqingcai.com/993.html
查看>>
七 oracle 表查询二
查看>>
给ARM初学者的建议
查看>>
study topics
查看>>
io分析神器blktrace
查看>>
redis pipeset发布订阅
查看>>
生成器、迭代器
查看>>
Docker - 创建镜像(二)
查看>>
变量绑定
查看>>
bzoj 1901 线段树套平衡树+二分答案查询
查看>>
Javascript 控制 让输入框不能输入 数字
查看>>
统计分词
查看>>
蛇形矩阵构造
查看>>
信息安全系统设计基础第六周学习总结
查看>>
Belady现象
查看>>
poj3250(单调栈模板题)
查看>>
Oracle 12c 多租户 CDB 与 PDB之 shared undo 与 Local undo 切换
查看>>