初探图论与网络爬虫

图论与网络爬虫

一、网络爬虫

产生背景

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。

人们每天都要进行的网络信息搜索。如何使搜索引擎能时刻满足人们的需求，我们需要找到一种方法。下图描述的是2009~2017年的中国的网页数增幅情况。