Py之textrank4zh：textrank4zh的简介、安装、使用方法之详细攻略
Py之textrank4zh：textrank4zh的简介、安装、使用方法之详细攻略
目录
textrank4zh的简介
TextRank算法可以用来从文本中提取关键词和摘要（重要的句子）。TextRank4ZH是针对中文文本的TextRank算法的python算法实现。
原理
TextRank的详细原理请参考：
Mihalcea R, Tarau P. TextRank: Bringing order into texts[C]. Association for Computational Linguistics, 2004.
关于TextRank4ZH的原理和使用介绍：使用TextRank算法为文本生成关键字和摘要
关键词提取
将原文本拆分为句子，在每个句子中过滤掉停用词（可选），并只保留指定词性的单词（可选）。由此可以得到句子的集合和单词的集合。
每个单词作为pagerank中的一个节点。设定窗口大小为k，假设一个句子依次由下面的单词组成：
w1, w2, w3, w4, w5, ..., wn
w1, w2, ..., wk、w2, w3, ...,wk+1、w3, w4, ...,wk+2等都是一个窗口。在一个窗口中的任两个单词对应的节点之间存在一个无向无权的边。
基于上面构成图，可以计算出每个单词节点的重要性。最重要的若干单词可以作为关键词。
关键短语提取
参照关键词提取提取出若干关键词。若原文本中存在若干个关键词相邻的情况，那么这些关键词可以构成一个关键词组。
例如，在一篇介绍支持向量机的文章中，可以找到关键词支持、向量、机，通过关键词组提取，可以得到支持向量机。
摘要生成
将每个句子看成图中的一个节点，若两个句子之间有相似性，认为对应的两个节点之间有一个无向有权边，权值是相似度。
通过pagerank算法计算得到的重要性最高的若干句子可以当作摘要。
textrank4zh的安装
pip install textrank4zh==0.3
pip install textrank4zh
textrank4zh的使用方法
1、测试
- -*- encoding:utf-8 -*-
- from __future__ import print_function
-
- import sys
- try:
- reload(sys)
- sys.setdefaultencoding('utf-8')
- except:
- pass
-
- import codecs
- from textrank4zh import TextRank4Keyword, TextRank4Sentence
-
- text = codecs.open('../test/doc/01.txt', 'r', 'utf-8').read()
- tr4w = TextRank4Keyword()
-
- tr4w.analyze(text=text, lower=True, window=2) py2中text必须是utf8编码的str或者unicode对象，py3中必须是utf8编码的bytes或者str对象
-
- print( '关键词：' )
- for item in tr4w.get_keywords(20, word_min_len=1):
- print(item.word, item.weight)
-
- print()
- print( '关键短语：' )
- for phrase in tr4w.get_keyphrases(keywords_num=20, min_occur_num= 2):
- print(phrase)
-
- tr4s = TextRank4Sentence()
- tr4s.analyze(text=text, lower=True, source = 'all_filters')
-
- print()
- print( '摘要：' )
- for item in tr4s.get_key_sentences(num=3):
- print(item.index, item.weight, item.sentence) index是语句在文本中位置，weight是权重
网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。
- 上周热门
- Kingbase用户权限管理 2020
- 信刻全自动光盘摆渡系统 1749
- 信刻国产化智能光盘柜管理系统 1419
- 银河麒麟添加网络打印机时，出现“client-error-not-possible”错误提示 1014
- 银河麒麟打印带有图像的文档时出错 924
- 银河麒麟添加打印机时，出现“server-error-internal-error” 715
- 麒麟系统也能完整体验微信啦！ 657
- 统信桌面专业版【如何查询系统安装时间】 633
- 统信操作系统各版本介绍 624
- 统信桌面专业版【全盘安装UOS系统】介绍 598
- 本周热议
- 我的信创开放社区兼职赚钱历程 40
- 今天你签到了吗？ 27
- 信创开放社区邀请他人注册的具体步骤如下 15
- 如何玩转信创开放社区—从小白进阶到专家 15
- 方德桌面操作系统 14
- 我有15积分有什么用? 13
- 用抖音玩法闯信创开放社区——用平台宣传企业产品服务 13
- 如何让你先人一步获得悬赏问题信息？（创作者必看） 12
- 2024中国信创产业发展大会暨中国信息科技创新与应用博览会 9
- 中央国家机关政府采购中心：应当将CPU、操作系统符合安全可靠测评要求纳入采购需求 8
