“TF-IDF”算法的的概念与网站运用丨经验分享

TF-IDF是一种核算方法，用以评价一字词关于一个文件集或一个语料库中的其间一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎运用，作为文件与用户查询之间相关程度的衡量或评级。除了TF-IDF以外，因特网上的搜索引擎还会运用根据链接剖析的评级方法，以确认文件在搜寻效果中出现的次序。

“TF-IDF”算法的原理

TFIDF的首要思维是：假设某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则以为此词或许短语具有很好的类别差异才干，适宜用来分类。TFIDF实际上是：TF * IDF，TF词频(Term Frequency)，IDF逆向文件频率(Inverse Document Frequency)。TF表明词条在文档d中出现的频率。IDF的首要思维是：假设包含词条t的文档越少，也就是n越小，IDF越大，则说明词条t具有很好的类别区别能力。

假设某一类文档C中包含词条t的文档数为m，而其它类包含t的文档总数为k，明显全部包含t的文档数n=m+k，当m大的时分，n也大，按照IDF公式得到的IDF的值会小，就说明该词条t类别区别能力不强。

可是实际上，假设一个词条在一个类的文档中频繁出现，则说明该词条能够很好代表这个类的文本的特征，这样的词条应该给它们赋予较高的权重，并选来作为该类文本的特征词以区别与其它类文档。这就是IDF的不足之处. 在一份给定的文件里，词频(term frequency，TF)指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数(term count)的归一化，以避免它倾向长的文件。(同一个词语在长文件里或许会比短文件有更高的词数，而不管该词语重要与否。)

“TF-IDF”算法的的概念与网站运用

一、TF词频的概念与建议

TF是指词频，查询的关键词在文档中出现的次数核算。相关文档是这样介绍的，假定查询关键词在同一个文档中出现的次数越多，代表这个关键词越重要，越能代表文档的主题意思，文章主题与关键词意思越接近，那么做怎样运用这个知识点呢?

假定有一篇文章的标题是：“服务外包”，从字面上了解，文章首要是以服务为中心，“外包”为拓展词。假定文章内容里服务出现20次，服务出现25次，外包出现10次，按照TF词频的规则，那么服务是文章主题，这个很好理解。

实际上有些时分写文章时，在意思很清晰的情况下，会省掉主词。比如服务外包价格、服务外包流程、服务外包公司介绍，会缩写成：外包价格、外包流程、外包公司介绍。这样会导致外包出现的次数大于服务，TF词频则会以为外包是主题，出现错误的判别。

那既然是这样，做关键词布局的时候，应该要恰当考虑主关键词的出现频率大于副词。当然搜索引擎判别网页主题有许多维度，这儿只是单从TF词频的视点考虑，个人以为这样做会缩短搜索引擎判别网页主题的时间，对来说是有利的。

第二、怎样快速了解“IDF逆文档频率”

这个概念假设看文档的话有点难了解，最初笔者看百度百科好几次才了解。涉及到杂乱的公式在这儿就不讲，结合TF一起来了解，TF-IDF的意思是，一篇文章中某关键词出现的次数越多，且在搜索引擎的资料库中包含该关键词文档数越少，则说明这个关键词越能代表此网页的主题。

举个比如来说明，假定有一篇文章，有两个关键词：“整站营销”和“服务”，在文章中，这两个关键词出现的资料都是20次，可是在百度的资料库中，包含整站营销的文档总共有一千万个，包含服务的文档有五百万个，那么则说明，服务越能代表这文章的意思。或许搜索引擎资料库中包含关键词的文档数量相同，文章中出现次数越多的关键词越能代表网页主题。

从的层面讲，IDF这个值是客观存在的

不必去深究，只需了解不同关键词之间的文档数多少就行，以百度为例，搜索任何一个关键词，在搜索框下面会有一个：“百度为您找到相关效果约XXX个”的这样句子，里边的数值能够作为文档数参阅。每个搜索引擎的包含关键词的文档数或许不相同，可是整体的相对比例值应该是差不多的。并且随着时间的推移，文档数也会不断发作改变。

注：内容源自网络，仅供分享交流，侵删。