文本分析

关键词提取

• 基于 TF-IDF 算法的关键词抽取

TF-IDF的思想：如果一个词或短语在一篇文章中出现的概率高，并且在其他文章中很少出现，则认为该词或短语具有很好的类别区分能力，适合用来分类

TF-IDF的作用：评估一个词语对于语料库中的某个文档的重要程度

词频:(term frequency,tf):某个词语在文档中的出现频率 ​ 逆文档频率(inverse document frequency,idf)某个词的普遍重要性的度量。由总文档数量除以包含该词的文档数量，再将得到的商取以10为底的对数 TF-IDF = TF x IDF

​x
import jieba.analyse

jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
  参数：
  - sentence 为待提取的文本
  - topK 为返回几个 TF-IDF 权重最大的关键词，默认值为 20
  - withWeight 是否一并返回关键词权重值，默认值为 False
  - allowPOS 仅包括指定词性的词，默认值为空，即不筛选