Python 网络爬虫入门详解!!

注:博主的基础篇文章适合萌新学习python并且里面的内容会持续的更新!
说明:并非是最优代码,但程序完全正确!因为此时作者也处在学习阶段!

爬虫主要分为通用爬虫和聚焦爬虫
通用爬虫:百度,360,搜狐,谷歌,必应……
原理:
(1)抓取网页
(2)采集数据
(3)数据处理
(4)提供检索服务
HTTP协议和抓包工具
http服务端口是80端口
https服务端口号是443端口,https协议实在http协议上加入了ssl层,进行了加密
url(统一资源定位符)
组成部分:scheme://host:port/path/?query-string=xxx #anchor
一个url有以下几部分组成:
scheme:代表的是访问协议,一般为http或https以及ftp等
host:主机名,域名。比如www.baidu.com
port:端口号,默认为80端口
path:查找路径
query-string:查询字符串(在?后面的内容)
anchor:锚点,前端用来做页面定位的(在#后面的内容)

持续不断地更新!!

你可能感兴趣的:(笔记,python,python,编程语言,http)