今天闲着无聊,有想鼓捣Python了,想实现网络爬虫,帮我下载音乐的功能。
现在网上找了相关的一些文章教程
http://jecvay.com/2014/09/python3-web-bug-series1.html
这个博主写的东西给我了一定的启发,不过我不大喜欢动脑子,只想完成目标,所以喜欢拿来主义
使用第三方模块来实现网络爬虫
BeautifulSoup 模块
1 #encoding:UTF-8 2 import requests 3 from bs4 import BeautifulSoup 4 url="http://music.baidu.com" 5 response=requests.get(url) 6 soup=BeautifulSoup(response.text) 7 items=soup.findAll(attrs={'class':'music'}) 8 for x in items: 9 print(x.contents[0].contents[0]+":"+url+x.contents[0].attrs['href'])
现在我们只是拿到了百度音乐首发歌曲名单和他们的播放地址
虽然还没有实现智能下载,但是我们已经距离成功前进了一大步,
我们要先找到下载链接,然后才能实现下载