python爬取文件归类_抓取某网站一分类下所有的图片（python小白登天日记）

废话先不多说，先上代码：

import requests

from bs4 import BeautifulSoup

import os,re

import sys

reload(sys)

sys.setdefaultencoding('utf8')

url = 'http://www.bfpgf.com/yld'

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'

headers = { 'User-Agent' : user_agent }#写一个headers

def get_soup(url):#获取bs4的对象

r = requests.get(url,headers=headers) # 使用requests获取网页,在这添加请求头，应对反爬虫

print r.status_code

soup = BeautifulSoup(r.content, 'html.parser') # 把页面处理成bs的对象，好进行下一步操作

return soup#返回bs4对象

def download_img(url,page_number):

soup = get_soup(url)

img_urls = soup.article.find_all('img')

numerb_of_arr = len(img_urls)#获取当前页面图片的数量

title = soup.find_all('h1',attrs={'class':'article-title'})#获取到标题所在的标签

dir_name = title[0].a.text#设置文件夹的名字

if os.path.isdir(dir_name):#判断当前目录下是否有文件夹存在，不存在的话创建一个与标题名称相同的文件夹

pass

else:

os.mkdir(dir_name)

for index , img_url in enumerate(img_urls):#获取序列号方便写图片的名字

file_name_suffix = re.findall(r'.[^./:*?<>|rn]+$', img_url['src'])[0]#通过正则获取图片的格式

img_index = page_number + index#计算这是第几张图片

img_name = str(img_index) + str(file_name_suffix)#拼接出图片的名称

file_name = os.path.join(dir_name,img_name)

url_download_img = 'http://www.bfpgf.com' + img_url['src']

print '开始下载第' + ' ' + str(img_index+1) + ' ' + '张图片'

req = requests.get(url_download_img,headers=headers)

img = req.content

with open(file_name, 'wb') as f:

f.write(img)

page_number += numerb_of_arr#为了图片名称计算出之前页面有多少图片

if len(soup.find_all('a',attrs={'class':'nextpostslink'}))!=0:

next_url = soup.find_all('a',attrs={'class':'nextpostslink'})[0]['href']#下一页的地址

print next_url

download_img(next_url,page_number)

def get_target_url(url):

soup = get_soup(url)

target_urls = soup.find_all('h2')

for target_url in target_urls:# 在这调用下载图片的方法

print '\n' + '正在抓取' + ' ' + str(target_url.a['title']) + '\n'

download_img(target_url.a['href'],0)

if soup.find('li', attrs={'class': 'next-page'}).a:# 如果有下一页的话

print '\n' + '开始抓取下一页' + '\n'

next_page_url = soup.find('li', attrs={'class': 'next-page'}).a['href']

get_target_url(next_page_url)

else:

print '\n' + '全站抓取完成'

get_target_url(url)

这一次抓的还是一个开车网站，测试了一下还是需要添加headers的。

本来这周想直接上sracpy，然后看了几天关于它的教程，比如 廖雪峰 老师和大神 静觅 的，但是感觉自己没有需求，强行搞一个需求写起来实在不顺心，所以思前想后还是先别用scrapy了吧，虽然我都装好写了一个小小的爬虫了。

上次写的关于lofter想抓全站或者排名前几的摄影社的图片，可是实在搞不懂通用的标识，当然肯定是我太菜了，没有找到，不过没事，这次找到了这个网站

开车是我最喜欢的事儿了，更何况还能用代码飙车，运行程序之后会自动创建文件夹并且下载对应的图片到文件夹里，如图：

练习用的文件夹

说实话，还有一个问题没有完美解决，就是

如何判断当前文件已经存在，不需再次下载

因为现在实在有点晚，所以这个问题暂时不解决，留着明天看一看。

不过这次结局了上次1024无法下载图片的问题，也是明天我试试，原来下载图片也可以带headers啊，这么说的话requests比urllib好用多了。

为了写多页面的图片下载，我用了两次递归，直到没有下一页，程序就停止运行了。

运行中

get_soup(url)这个函数我更是用了两次，虽然没提高多大的效率，不过也是第一次在python里复用～还是挺开心的。

其余没有多大的问题，就是在urllib用urlretrieve下载的时候只能下载一个，然后让大侄子去运行却能全部下载，没办法，只能换了requests的下载并且带上了headers，然后就完美的运行成功了。

最后一句话送给大家

飙车有风险，开车需谨慎