抓取某网站一分类下所有的图片（python小白登天日记）

废话先不多说，先上代码：

 
 import requests
 from bs4 import BeautifulSoup
 import os,re
 import sys
 reload(sys)
 sys.setdefaultencoding('utf8')
 
 
url = 'http://www.bfpgf.com/yld'
 user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
 headers = { 'User-Agent' : user_agent }#写一个headers
 
 
def get_soup(url):#获取bs4的对象
 r = requests.get(url,headers=headers) # 使用requests获取网页,在这添加请求头，应对反爬虫
 print r.status_code
 soup = BeautifulSoup(r.content, 'html.parser') # 把页面处理成bs的对象，好进行下一步操作
 return soup#返回bs4对象
 
 
def download_img(url,page_number):
 soup = get_soup(url)
 img_urls = soup.article.find_all('img')
 numerb_of_arr = len(img_urls)#获取当前页面图片的数量
 title = soup.find_all('h1',attrs={'class':'article-title'})#获取到标题所在的标签
 dir_name = title[0].a.text#设置文件夹的名字
 if os.path.isdir(dir_name):#判断当前目录下是否有文件夹存在，不存在的话创建一个与标题名称相同的文件夹
 pass
 else:
 os.mkdir(dir_name)
 for index , img_url in enumerate(img_urls):#获取序列号方便写图片的名字
 file_name_suffix = re.findall(r'.[^./:*?<>|rn]+$', img_url['src'])[0]#通过正则获取图片的格式
 img_index = page_number + index#计算这是第几张图片
 img_name = str(img_index) + str(file_name_suffix)#拼接出图片的名称
 file_name = os.path.join(dir_name,img_name)
 url_download_img = 'http://www.bfpgf.com' + img_url['src']
 print '开始下载第' + ' ' + str(img_index+1) + ' ' + '张图片'
 req = requests.get(url_download_img,headers=headers)
 img = req.content
 with open(file_name, 'wb') as f:
 f.write(img)
 page_number += numerb_of_arr#为了图片名称计算出之前页面有多少图片
 if len(soup.find_all('a',attrs={'class':'nextpostslink'}))!=0:
 next_url = soup.find_all('a',attrs={'class':'nextpostslink'})[0]['href']#下一页的地址
 print next_url
 download_img(next_url,page_number)
 
 
def get_target_url(url):
 soup = get_soup(url)
 target_urls = soup.find_all('h2')
 for target_url in target_urls:# 在这调用下载图片的方法
 print '\n' + '正在抓取' + ' ' + str(target_url.a['title']) + '\n'
 download_img(target_url.a['href'],0)
 if soup.find('li', attrs={'class': 'next-page'}).a:# 如果有下一页的话
 print '\n' + '开始抓取下一页' + '\n'
 next_page_url = soup.find('li', attrs={'class': 'next-page'}).a['href']
 get_target_url(next_page_url)
 else:
 print '\n' + '全站抓取完成'
 get_target_url(url)
 
 这一次抓的还是一个开车网站，测试了一下还是需要添加headers的。
 本来这周想直接上sracpy，然后看了几天关于它的教程，比如 廖雪峰 老师和大神 静觅 的，但是感觉自己没有需求，强行搞一个需求写起来实在不顺心，所以思前想后还是先别用scrapy了吧，虽然我都装好写了一个小小的爬虫了。
 
 
上次写的关于lofter想抓全站或者排名前几的摄影社的图片，可是实在搞不懂通用的标识，当然肯定是我太菜了，没有找到，不过没事，这次找到了这个网站
 开车是我最喜欢的事儿了，更何况还能用代码飙车，运行程序之后会自动创建文件夹并且下载对应的图片到文件夹里，如图：
 
 
 
  
 
   
 
     
   
 
  
 
  

    练习用的文件夹 
  
 
 
 
 
 
 
说实话，还有一个问题没有完美解决，就是
 
 
如何判断当前文件已经存在，不需再次下载
 
 
因为现在实在有点晚，所以这个问题暂时不解决，留着明天看一看。
 不过这次结局了上次1024无法下载图片的问题，也是明天我试试，原来下载图片也可以带headers啊，这么说的话requests比urllib好用多了。
 
 
为了写多页面的图片下载，我用了两次递归，直到没有下一页，程序就停止运行了。
 
 
 
  
 
   
 
     
   
 
  
 
  
 
 
 
 
 
  
 
   
 
     
   
 
  
 
  

    运行中 
  
 
 
 
 
get_soup(url)这个函数我更是用了两次，虽然没提高多大的效率，不过也是第一次在python里复用～还是挺开心的。
 
 
其余没有多大的问题，就是在urllib用urlretrieve下载的时候只能下载一个，然后让大侄子去运行却能全部下载，没办法，只能换了requests的下载并且带上了headers，然后就完美的运行成功了。
 
 
最后一句话送给大家
 
 
飙车有风险，开车需谨慎