Python入门初体验——网页数据的爬取

在信息化越来越发达的今天，网上的数据数不胜数。当你想获取某些资源或种子的时候，如果单纯的靠手动自己一个个去下载，是非常的繁琐和浪费时间。这个时候，我们的python爬虫技术就可以派上用场了。但你可能并不会写爬虫，不要着急，跟着我的文章看下去。我将带你入门爬虫技术，让你从此不用再为资源发愁，而是为身体发愁。

步骤一、环境的安装：

1. 首先，在官网https://www.anaconda.com/download/下载一个与自己电脑系统相匹配的Anaconda3版本。

2. 找到Anaconda3文件夹并打开，再找到Scripts并打开，找到idle.exe。

   
   
   Anaconda3

Scripts

idle.exe

3. 双击idle.exe运行，就可以在其中敲Python代码来制作爬虫。

步骤二、爬虫准备：

• 准备好自己需要爬取网站的地址，例如：对国防科大录取分数线网站的爬取，我们需要知道国防科大的一些基本的网站地址，然后根据URL获取网页。

步骤三、开始爬虫

1）根据URL获取网页

1.首先我们需要导入两个常用的库，URL处理模块和RE包：.

import urllib.request as req
import re

2.找到它的网址，存储到url变量名中。

url = 'http://www.gotonudt.cn/site/gfkdbkzsxxw/lqfs/index.html'

3.创建一个表示远程url的类文件对象，并将其打开

webpage=req.urloprn(url)

4.读取网页的所有数据,并转换为uft-8编码进行存储(此处编码可以自己查看网页所用的编码，然后设置成相应的编码)

data = webpage.read().decode('utf-8')

完整代码如下：

import urllib.request as req
url = 'http://www.gotonudt.cn/site/gfkdbkzsxxw/lqfs/index.html'
webpage = req.urlopen(url)
data = webpage.read().decode('utf-8')
print(data)

2)网页数据存入文件

1.需要先打开一个文件，并执行写入的操作

2.将网页数据写入文件

outfile.write(data)
outfile.close#在写完数据后将打开的文件关闭

3）提取链接

1.我们需要通过查看之前保存下来的数据，找到我们需要的关键信息，此处我们是查找录取分数线，所以我们需要在数据中找到跟此有关的信息段。如图：

国防科技大学~年录取分数统计.png

2.我们需要对相应的链接进行提取，一得到我们需要的关键的地址。例如对2017年的链接进行提取。

index = data.find('国防科技大学2017年录取分数统计')
href = data[index-100:index].split('"')[3] # 提取url子串
# href是相对URL，需要加上站点域名
website = 'http://www.gotonudt.cn'
url = website+href
print(url)

4)根据超链接抓取并保存链接网页内容：

webpage = req.urlopen(url) # 根据超链访问链接的网页
data = webpage.read() # 读取超链网页数据
outfile = open("2017年.txt"%url[0], 'wb') # 按二进制写方式打开文件（文件名可以自己任意命名）
outfile.write(data) # 将网页数据写入文件
outfile.close() # 关闭文件

5）根据获得的网址，通过浏览器打开，查看网页的数据，然后分析自己所要提取的数据有何特点。而此处我们可以发现，我们需要提取的分数数据，在网页中是以表格的形式存在。所以下一步我们需要提取网页中的表格。

6）提取表格

1.通过查看网页源代码，我们可以知道，表格在网页数据中是以

… 的形式存在。
2.提取表格需要用到我们在前文中提到的RE包，即正规表达式包。
3.提取表格所用到的正规表达式为：

'(.*?)'

4.代码如下：

webpage = req.urlopen(url)
data = webpage.read().decode('utf-8')
# 获取网页中的第一个表格中所有内容：
table = re.findall(r'', data, re.S)
firsttable = table[0]

7）提取表格中的行

• 根据提取到的表格数据，我们可以发现，我们需要将每一行每一列中的数据提取出来，才能得到我们只需要的分数数据。所以我们先提取每一行，再提取每一列。
• 提取行所使用的正规表达式为：

''

• 代码如下：

rows = re.findall(r'', firsttable, re.S)

8）提取行中的每一列

通过分析行中的数据，我们可以得到每个分数的前后存在'…>640…'这样一个特征字符串，所以我们可以通过这个特殊的字符串进一步提取我们需要的数据

• 提取行所使用的正规表达式为：

r'(.*?)'

• 提取每一行中所有的元素：

scorelist = []
for row in rows:
    items = []
    tds = re.findall(r'(.*?)', row, re.S)
    for td in tds:
          rightindex = td.find('')
          if rightindex!=-1:
              leftindex = td[:rightindex].rfind('>')
              item=td[leftindex+1:rightindex]
              items.append(item)
    scorelist.append(items)
outfile=open('2017年国防科技大学分数线.txt'%, 'w')
for score in scorelist:
    for each in score:
        outfile.write('%s\t'%each)
    outfile.write('\n')
outfile.close()

9）数据清洗

• 此时我们通过查看得到的数据会发现，得到的数据还会存在我们不想要的内容，比如：空格符号（ ），所以我们需要对数据内部进行清洗。
• 数据前后的清洗使用可以使用：x.strip()，比如此处，我们可以通过x.replace('  ', '')语句，将空格符号去掉。从而得到我们所需要的理想数据文档。

10）完整代码

大家可以先尝试通过前面的知识，自己一步步进行获取，如果实在无法得到想要的数据，可以参考以下代码：

import urllib.request as req
import re
url = 'http://www.gotonudt.cn/site/gfkdbkzsxxw/lqfs/index.html'
webpage = req.urlopen(url)
data = webpage.read().decode('utf-8')
index = data.find('国防科技大学2017年录取分数统计')
href = data[index-100:index].split('"')[3] # 提取url子串
# href是相对URL，需要加上站点域名
website = 'http://www.gotonudt.cn'
url = website+href
webpage = req.urlopen(url)
data = webpage.read().decode('utf-8')

# 获取网页中的第一个表格中所有内容：
table = re.findall(r'', data, re.S)
firsttable = table[0]
firsttable = firsttable.replace(' ','')# 在html网页中空格经常用 表示，此处将 去掉：
rows = re.findall(r'', firsttable, re.S)

scorelist = []
for row in rows:
    items = []
    tds = re.findall(r'(.*?)', row, re.S)
    for td in tds:
        rightindex = td.find('')
        if rightindex!=-1:
            leftindex = td[:rightindex].rfind('>')
            item=td[leftindex+1:rightindex]
            items.append(item)
    scorelist.append(items)
outfile=open('2017年国防科技大学分数线.txt', 'w')
for score in scorelist:
    for each in score:
        outfile.write('%s\t'%each)
    outfile.write('\n')
outfile.close()

谢谢各位读者的阅读！！！！

悄咪咪的给大家送上一段获取图片的代码供大家参考学习，喜欢的可以点个赞，送颗小心心哦！

from urllib import request
import re
def getReq
(url):
url_req = request.urlopen
(url) #打开一个url
return url_req
#返回这个对象
def getJpg(data):
jpglist = re.findall
(r'src="http.+?.jpg"',data
)
return jpglist
def getHtml(data):
htmllist = re.findall
(r'href=".+?.html"',data
)
return htmllist
def downLoad
(jpgUrl,n):
try:
request.urlretrieve
(jpgUrl,'%s.jpg' %n)
except Exception as e:
print(e)
finally:
print('图片%s下载操作完成' % n)
def getAllJpg
(urllist):
index=0
jpegnum=1
while index<= len
(urllist):
try:
http_req = getReq
(urllist[index]) #拿到http请求后的上下文对象
# data = http_req.read().decode('GB2312','ignore') #获取网页数据
data = http_req.read().decode('gb18030','ignore') #获取网页数据
htmllist
=getHtml(data)
print(htmllist
)
for hl in htmllist
:
newurl = urllist[0]+hl.split('"')[1][1:]
if newurl not in urllist
:
urllist.append
(urllist[0]+hl.split('"')[1][1:])
jpglist = getJpg(data)
for jurl in jpglist
:
s = re.findall
(r'http.+?.jpg',jurl
)
print(s)
downLoad(s[0],jpegnum
)
jpegnum= jpegnum +1
index = index+1
except Exception as e:
print(e)
pass
urllist=['http://www.daimg.com/']
getAllJpg
(urllist