爬虫原理、知识图谱

1.爬虫的原理

首先在互联网中选出一部分网页，以这些网页的链接地址作为种子URL;
将这些种子URL放入待抓取的URL队列中，爬虫从待抓取的URL队列依次读取;
将URL通过DNS解析;
把链接地址转换为网站服务器对应的IP地址;
网页下载器通过网站服务器对网页进行下载;
下载的网页为网页文档形式;
对网页文档中的URL进行抽取;
过滤掉已经抓取的URL;

2.知识图谱基本信息
知识图谱是一种特殊的图数据，知识图谱是一种带标记的有向属性图，每个结点都有若干个属性和属性值，实体与实体之间的边表示的是结点之间的关系，边的指向方向表示了关系的方向，而边上的标记表示了关系的类型。知识图谱中的数据存储可以是RDF三元组（实体1、关系、实体2）的形式、也可以借助Neo4j图数据库以可视化图的方式展示。