网址：http://pu.guqu.net/guzheng/
目的：爬取本网站上所有的古筝曲谱
网站简介：为中国古典音乐喜好者提供古典音乐试听、中国古典音乐欣赏，发扬中国古典音乐这国之文化精髓。
其中古曲网上收集了几乎中国所有全通乐器的曲谱，包括古琴、古筝、二胡、萧，等等等等，有流行曲谱、古典曲谱、传统曲谱等，而且都是免费的，全部都是免费浏览，但是网站没有提供下载，遇到心水的曲谱只能自己一个个把曲谱图片保存下来，可以说非常不方便。
本人是古筝爱好者，所以本次爬虫以爬取古筝曲谱为例。文末附上爬取成果的网盘链接。
爬取过程
-
观察源码
图片.png
首先这个页面的每一个曲谱的链接列表都在源码中，每一个详情页都是一个静态页面。我们可以通过requsets将所有链接爬取下来，然后存起来；
另外观察到一个很奇怪的现象，目录一共有15页他的尾页反而是List_1.html，然后倒数第二页就是List_2.html，然后首页并部署List_15.html，而是http://pu.guqu.net/guzheng/。不管它，反正能爬取下来就行了。
图片.png
然后我们随便点击进去一个曲目的曲谱的详情页，寻找曲谱图片；
循例查看roboxt协议：
图片.png
没有限制。
-
2019年11月13日更新：不知道为什么网站的详情页面没法打开了，所以就没法演示。所以下面就直接上代码吧。
图片.png
爬虫思想：
先看主函数：
def main():
#定制访问的headers
headers_play = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'DNT': '1',
'Pragma': 'no-cache',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:68.0) Gecko/20100101 Firefox/68.0'}
# 曲谱图片保存的路径
root = "E://pic//music-guzheng//"
url = 'http://pu.guqu.net/guzheng/'
#爬取所有的页面时的详情页链接
all_url_list = getAllURL(url)
music_url_list = {}
#获取所有曲谱的url，并写入文件
for key,value in all_url_list.items():
music_url = str(value)
music_url_list = getPageList(music_url)
#循环读取文件中的url，把曲谱爬取下来
for key,value in music_url_list.items():
music_name = str(key)
music_picture_url = str(value)
getPicture(music_picture_url,music_name)
getAllURL(url)函数：
def getHTML(url):
try:
r = requests.get(url,timeout=30)
r .raise_for_status()
r.encoding = r.apparent_encoding
html = r.text
soup = BeautifulSoup(html,"html.parser")
return soup
except:
return"error"
getAllURL(url)函数：
#共15个列表页，由于每一页的url并不规律，通过循环方式制作出来每个详情页的列表，并返回这个列表
def getAllURL(url):
music_list = {}
for i in range(15):
if i ==0:
music_list[i] = url
else:
music_url = url + "List_" + str(i) + ".html"
music_list[i] = music_url
return music_list
getPageList(url)函数：
#通过读取列表页第n页，循环读取第n页上的所有曲谱详情页，将所有详情页以{“曲谱名”：“url”}方式写入字典，并写入文件里。
#通过循环调用这个函数，将所有列表页里面的曲谱信息获取出来，返回的是字典列表
def getPageList(url):
music_url_list = {}
soup = getHTML(url)
for t in soup.find_all('a'):
ti = t.get('title')
if re.match('曲谱名称?',str(ti)):
name = t.string
music_url = t.get('href')
music_url_list[name] = music_url
lists = '"' +name + '":"' +music_url+'"'
with open("guzheng.txt",'ab') as f:
f.write(lists.encode()+b"\n")
f.close()
return music_url_list
getPicture(url,name)：
#读取一个详情页的url，获取详情页上的图片，并保存下来
def getPicture(url,name):
soup = getHTML(url)
path = root + name +"//"
#帅选出含有图片连接的标签
a = str(soup.find_all('script',language="javascript"))
#分割出有用的标签内容，使用try处理，运行异常时抛出异常并跳过
try:
b = a.split(', ')[2]
#根据url的规律继续分割，直到将url一一获取
i = 4
x = 1
while 1:
try:
c = b.split("arrUrl")[i].split("'")[1]
file = path + name +str(x) + '.' + c.split('.')[-1]
if not os.path.exists(path):#如果没有文件夹，创建
os.mkdir(path)
print(c,path,file)
if not os.path.exists(file):
r = requests.get(c)
with open(file,'wb') as p:
p.write(r.content)
p.close()
print("ok",file)
i = i+2
x = x+1
except:
print("back")
break
except:
return "no"
不对的地方求指出@~@
全代码：
import re
import requests, os
from bs4 import BeautifulSoup
from pyquery import PyQuery as pq
import json
headers_play = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'DNT': '1',
'Pragma': 'no-cache',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:68.0) Gecko/20100101 Firefox/68.0'}
root = "E://pic//music-guzheng//"
#解析网页
def getHTML(url):
try:
r = requests.get(url,timeout=30)
r .raise_for_status()
r.encoding = r.apparent_encoding
html = r.text
soup = BeautifulSoup(html,"html.parser")
return soup
except:
return"error"
#获取所有的列表页面列表
def getAllURL(url):
music_list = {}
for i in range(15):
if i ==0:
music_list[i] = url
else:
music_url = url + "List_" + str(i) + ".html"
music_list[i] = music_url
return music_list
#获取每个页面中每个乐谱的详细页的链接，写入文件
def getPageList(url):
music_url_list = {}
soup = getHTML(url)
for t in soup.find_all('a'):
ti = t.get('title')
if re.match('曲谱名称?',str(ti)):
name = t.string
music_url = t.get('href')
music_url_list[name] = music_url
lists = '"' +name + '":"' +music_url+'"'
with open("guzheng.txt",'ab') as f:
f.write(lists.encode()+b"\n")
f.close()
return music_url_list
#获取乐谱详细页的乐谱图片
def getPicture(url,name):
soup = getHTML(url)
path = root + name +"//"
#帅选出含有图片连接的标签
a = str(soup.find_all('script',language="javascript"))
#分割出有用的标签内容
try:
b = a.split(', ')[2]
#根据url的规律继续分割，直到将url一一获取
i = 4
x = 1
while 1:
try:
c = b.split("arrUrl")[i].split("'")[1]
file = path + name +str(x) + '.' + c.split('.')[-1]
if not os.path.exists(path):#如果没有文件夹，创建
os.mkdir(path)
print(c,path,file)
if not os.path.exists(file):
r = requests.get(c)
with open(file,'wb') as p:
p.write(r.content)
p.close()
print("ok",file)
i = i+2
x = x+1
except:
print("back")
break
except:
return "no"
def main():
url = 'http://pu.guqu.net/guzheng/'
all_url_list = getAllURL(url)
music_url_list = {}
#获取所有曲谱的url，并写入文件
for key,value in all_url_list.items():
music_url = str(value)
music_url_list = getPageList(music_url)
for key,value in music_url_list.items():
music_name = str(key)
music_picture_url = str(value)
getPicture(music_picture_url,music_name)
main()
爬取成果
以下链接包含爬取的古曲网上的所有曲谱：
https://pan.baidu.com/s/1C3L1eWJ-zPm-hek35kGwKw