Python入门：网站爬虫基础

10.1 什么是爬虫？

爬虫是自动化帮我们获取网页数据的程序
如果把互联网想像成一张大网，那么爬虫就是一只为我们工作的蜘蛛
它可以按照我们写好的程序，自动化地在网上猎取我们需要的猎物（数据）

from urllib.request import urlopen
my_first_spider = urlopen("https://assets.baydn.com/baydn/public/codetime/0.0.1/hello_human.html")
print(my_first_spider.read())
# 输出：





Hello, human.

10.2 爬虫的原理

刚才说了，爬虫是自动化帮我们获取网页数据的程序。那么究竟是如何获取网页数据的？

将网络通信与打电话做一个类比：当我们想访问某个网址（URL）时，网址（URL）就类似于电话号码，而电脑、智能手机这样的客户端（client）也就类似于电话。我们通过客户端的浏览器（browser）发送访问请求（request），就好比用电话拨打电话号码。接收请求的一方叫做服务器（web server），如果服务器运行正常并且同意我们的请求，则会向客户端发送回答（response），回答的内容会放在HTML文件里。这时，浏览器又可以帮我们解析HTML文件，让它变成我们通常看到的网页的模样。

​

来源扇贝编程

​

向网址https://assets.baydn.com/baydn/public/codetime/1/scrape_py.html发送请求，查看输出

from urllib.request import urlopen
web_response = urlopen("https://assets.baydn.com/baydn/public/codetime/1/scrape_py.html")
print(web_response)
# 输出： 

输出：，这代表我们成功获得了对方网址给我们的回答。但究竟回答的具体内容是什么呢？我们在代码中看到的 urllib 又是什么呢？

10.3 urllib模块

urllib 是Python 中用于获取网页数据的模块，通过 import 调用它，并让它（urllib.request）帮我们向网址发送请求，接收回答。我们刚刚得到的相当于目标网址给我们一封尚未拆封的信，而接下来要做的是用 urllib 中的 read()，来读这封信的具体内容。

from urllib.request import urlopen
web_response = urlopen("https://assets.baydn.com/baydn/public/codetime/1/scrape_py.html")
print(web_response.read())  # 这里添加.read()

​

​

10.4 HTML基本结构

HTML文件的基本组成部分是：head 和 body
head 一般存放网页的标题（title）等信息
body一般承载网页的主体信息

                  #head部分开头
   #该HTML的标题
                 #head部分结尾
                  #body部分开头
                 #body部分结尾

10.5 如何查看网页HTML

将浏览器打开至目标网页，点击鼠标右键，在菜单中选中 “检查”（注：有的系统中叫做“审查元素”或“检查元素”），点击 “检查” 之后，便能在屏幕上看见当前网页的HTML结构。

​

image

​

10.6 筛选信息

定位标题

from urllib.request import urlopen
web_response = urlopen("https://web.shanbay.com/codetime/home?")
html_file = web_response.read().decode()
# 找到 "" 的索引位置
end = html_file.find("")
# 输出标题字符串
title = html_file[start+len("