茉莉Python

voidqueens@hotmail.com

0%

Python--利用结巴进行分词

本文首发于我的博客:gongyanli.com

前言:本文是一些关于jieba分词的简单操作,把文档进行分词后,然后利用wordcloud输出。

一、安装

pip install jieba

二、准备数据

依然是维基百科文章保存为txt,地址https://zh.wikipedia.org/wiki/%E6%AC%A7%E9%98%B3%E4%BF%AE
下载文件simsun.ttf,如果没有这个文件,生成的词云将会是乱码,不是中文。因为wordcloud默认字体是英文,不包含中文编码。

三、分词

`import jieba  # 导入jieba
import matplotlib.pyplot as plt
from wordcloud import WordCloud

filename = "ouyangxiu.txt"
with open(filename) as f:
    mytext = f.read()
    mytext=" ".join(jieba.cut(mytext))  # 进行jieba分词
    wordcloud=WordCloud(font_path="simsun.ttf").generate(mytext) 
    # 中文分词后再生成词云,同时注意指定输出字体simsun.ttf
    plt.imshow(wordcloud,interpolation='bilinear')
    plt.axis("off")
    plt.show()
# print(mytext)

`

四、出图