首页 > 编程笔记 阅读:369

搜索引擎如何分析网页内容?

在页面收录过程中,搜索引擎已经抓取并存储了网站上的 URL,接下来,搜索引擎会对所抓取的页面内容进行分析,如图1所示。

页面分析流程
图1:页面分析流程

在这个过程中,我们看到了两个“网页”:
搜索引擎对页面的分析由该原始页面正式开始。

1) 提取正文信息

这里所提取的正文信息除了包含页面内容外,还包含页面的头部标签信息(Title、Keywords、Description)等。

2) 分词/拆词

提取完信息后,搜索引擎按照机械分词法和统计分词法将正文信息切分为若干关键词,这些关键词组成了关键词列表。

我们大家在搜索引擎里查找内容时往往会输入关键词查找,这里搜索引擎的工作就是按照一定的规则将内容划分为词,以便以后大家搜索。

3) 建立关键字索引

上一步搜索引擎已经将正文内容切分为了若干关键词,这些关键词出现的位置、频率等是不同的,在这一步,搜索引擎会将关键词逐一记录、归类、建立索引,比如关键词出现的频率。

一般来说,关键词频率建议 2%~8% 是比较合理的。

4) 关键词重组

搜索引擎为页面关键词建立索引后,再将这些关键词重新组合,以关键词的形式重新组建一个新的网页,这个网页上的关键词是唯一的,全部不重复。

比如,我们刚才在第三步时,A 关键词出现了三次,在第四步,我们只记录 A 关键词1次,在重组网页后,A 关键词再无重复。

至此,搜索引擎对页面的分析完成,在这一环节,搜索引擎完成了对页面正文信息的提取、关键词的切分、关键词的索引以及搜索引擎角度上的网页重组。

编程帮,一个分享编程知识的公众号。跟着站长一起学习,每天都有进步。

通俗易懂,深入浅出,一篇文章只讲一个知识点。

文章不深奥,不需要钻研,在公交、在地铁、在厕所都可以阅读,随时随地涨姿势。

文章不涉及代码,不烧脑细胞,人人都可以学习。

当你决定关注「编程帮」,你已然超越了90%的程序员!

编程帮二维码
微信扫描二维码关注

所有教程

优秀文章