爬虫&搜索引擎&浏览器

1.搜索引擎和浏览器的区别

搜索引擎和浏览器是两个不同的概念，它们在互联网使用过程中扮演着不同的角色。

浏览器是一种用来访问互联网并查看网页的软件应用程序。用户通过浏览器可以输入网址、点击链接、搜索信息、观看视频等。常见的浏览器包括Chrome、Safari、Firefox、Edge等。浏览器充当了用户与互联网之间的交互平台，用户通过浏览器可以访问各种网站，并浏览网页上的内容。

搜索引擎则是一种用来帮助用户在互联网上查找信息的工具。用户可以在搜索引擎中输入关键词，搜索引擎会返回包含相关信息的网页列表。搜索引擎通过自己的算法对互联网上的网页进行索引和排名，以便用户更快地找到他们需要的信息。常见的搜索引擎包括Google、百度、必应等。

因此，简单来说，浏览器是用户用来访问互联网的工具，而搜索引擎是帮助用户在互联网上查找信息的工具。在日常使用互联网时，用户通常会先打开浏览器，然后通过浏览器访问搜索引擎来获取所需的信息。

2.爬虫是什么

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

3.搜索引擎是一个巨大的爬虫

搜索引擎中各关键功能模块功能简介如下：
（1）爬虫：从互联网爬取原始网页数据，存储于文档知识库服务器。
（2）文档知识库服务器：存储原始网页数据，通常是分布式Key-Value数据库，能根据URL/UID快速获取网页内容。
（3）索引：读取原始网页数据，解析网页，抽取有效字段，生成索引数据。索引数据的生成方式通常是增量的，分块/分片的，并会进行索引合并、优化和删除。生成的索引数据通常包括：字典数据、倒排表、正排表、文档属性等。生成的索引存储于索引服务器。
（4）索引服务器：存储索引数据，主要是倒排表，通常是分块、分片存储，并支持增量更新和删除。数据内容量非常大时，还根据类别、主题、时间、网页质量划分数据分区和分布，更好地服务在线查询。
（5）检索：读取倒排表索引，响应前端查询请求，返回相关文档列表数据。
（6）排序：对检索器返回的文档列表进行排序，基于文档和查询的相关性、文档的链接权重等属性。
（7）链接分析：收集各网页的链接数据和锚文本（Anchor Text），以此计算各网页链接评分，最终会作为网页属性参与返回结果排序。
（8）网页去重：提取各网页的相关特征属性，计算相似网页组，提供离线索引和在线查询的去重服务。
（9）网页反垃圾：收集各网页和网站历史信息，提取垃圾网页特征，从而对在线索引中的网页进行判定，去除垃圾网页。
（10）查询分析：分析用户查询，生成结构化查询请求，指派到相应的类别、主题数据服务器进行查询。
（11）页面描述/摘要：为检索和排序完成的网页列表提供相应的描述和摘要。
（12）前端：接受用户请求，分发至相应服务器，返回查询结果。

4.小结

我们的浏览器上面不就可以通过输入url来访问网页吗，但是我们任然要使用搜索引擎来帮助我们找到合适的url
所以说学会爬虫可以建立属于我们自己的搜索引擎！！！