TF-IDF

TF-IDF（词频-逆文档频率）衡量词对文档的重要程度：在该文档高频但在语料中低频的词权重高。

用途

区分文档内容词与通用功能词，用于检索排序与特征加权。

机制

TF = 词在文档中出现次数；IDF = log(N/DF)，N 为文档总数，DF 为含该词的文档数。TF-IDF = TF × IDF。常见词（the）IDF 低，罕见词 IDF 高。

用例

搜索引擎相关性排序
文档关键词提取
文本分类特征加权
推荐系统内容相似度

示例

输入

The word "the" appears in all documents

输出

IDF≈0, low weight

Common words get low weights

常见错误

Failing to log-transform or normalize TF biases long documents: Use 1+log(TF) and document length normalization

相关词条

词袋模型将文本表示为无序词频向量，忽略语法与词序，是文本分类与检索的基础表示。

Cosine Similarity

余弦相似度度量两向量夹角的余弦值，忽略向量长度，常用于文本向量相似度计算。

停用词是高频但低语义的词（the、is、at、on），在检索与 NLP 中常过滤以减少噪声。

参考链接