目标：
抓取煎蛋美女图片，通过实践熟悉python相关模块及字典的应用。
声明：
本程序仅用于交流学习研究，请勿频繁抓取数据对相关网站造成影响.
Cue→Routine→Reward，触发机制、模式、激励，这是促成习惯的三个要素，这个结论来自《习惯的力量》，这个说法在提升自己的动机、改变拖延上是非常有帮助的。
- 不依赖毅力，导入促进自己不断学习的机制。
- 找到动机（奖励：美女图片）
- 让学习快乐的机制
我们将通过抓取美女图片来学习如何抓取网页（吊丝的最爱_）。
动机，在心理学上一般被认为涉及行为的发端、方向、强度和持续性。动机为名词，在作为动词时则多称作激励。在组织行为学中，激励主要是指激发人的动机的心理过程。通过激发和鼓励，使人们产生一种内在驱动力，使之朝着所期望的目标前进的过程；又在此过程中，动机通常不会是一成不变的，相反地，动机可能会增加或降低。然而，不管动机水准的高低为何，人们若能维持一定的动机水准，则不但能维持追求该目标的行为，也能维持心理上对该目标的渴望，直到人们知觉到该目标达成为止，因此动机时常被视为是行为的前导驱力，若能掌握人们的动机，则往往可以协助预测其行为的方向性与模式。 ...
[http://zh.wikipedia.org/zh-cn/动机]
流程：
- 建立下载目录:jiandanxxoo20160612
- 创建随机的user-agent
- 获取图表url
- 下载保存图片
核心知识要点：
- requests
- bs4
- time
- random
- os , path
- with...open 保存文件
- for , 字典
- 函数
[code]：
#/usr/bin/env python3.5
# -*- coding: utf-8 -*-
__author__ = 'zenway33'
from bs4 import BeautifulSoup
import requests
import time
import random
import os
# 建立一个目录用于存储下载的文件:
img_dir = 'jiandanxxoo20160612'
if not os.path.isdir(img_dir):
os.mkdir(img_dir)
# 获取一个随机的header
def random_header():
#def LoadUserAgents(uafile="user_agents.txt"):
def load_useragents(uafile="user_agents.txt"):
"""
uafile : string
path to text file of user agents, one per line
"""
uas = []
with open(uafile, 'rb') as uaf:
for ua in uaf.readlines():
if ua:
uas.append(ua.strip()[1:-1-1])
random.shuffle(uas)
return uas
# load the user agents, in random order
uas = load_useragents(uafile="user_agents.txt")
# load user agents and set headers
ua = random.choice(uas) # select a random user agent
headers = {
"Connection" : "close", # another way to cover tracks
"User-Agent" : ua}
return headers
# proxy = {"http": "http://username:[email protected]:3128"}
'''
headers = {
'User-Agent': 'Mozilla/5.8 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Accept-Encoding': 'none',
'Accept-Language': 'en-US,en;q=0.8',
'Connection': 'keep-alive'
}
'''
# 单个页面的内容抓取分析
'''
url = 'http://jandan.net/ooxx/page-2007'
wb_data = requests.get(url,headers=headers)
soup = BeautifulSoup(wb_data.text,'lxml')
imgs = soup.select('p > img')
for img_url in imgs:
url = img_url.get('src')
print(url)
'''
# 下载文件,保存本地
def download(image_url, image_name):
headers = random_header()
r = requests.get(image_url, stream = True,headers=headers)
#with open(path + '/' + '{}.jpg'.format(index), "wb") as fs:
with open(os.path.join(img_dir, image_name), 'wb') as fs:
fs.write(r.content)
fs.close
print("filename: %s , image_url: %s... is download" % (image_name, image_url))
# 获取图片url
def get_image_info():
for page_num in range(2000,2015):
headers = random_header()
wb_data =requests.get('http://jandan.net/ooxx/page-{}'.format(page_num), headers=headers)
time.sleep(5)
soup = BeautifulSoup(wb_data.text,'lxml')
image_urls = soup.select('p > img')
print("page_num: %s" % page_num)
try:
for index,image_url in enumerate(image_urls):
image_url = image_url.get('src')
data = {
'image_url' :image_url,
#'image_name' :image_url.split('/')[-1]
'image_name' :'{}.jpg'.format(index)
}
#print(data)
image_url = data['image_url']
image_name = str(page_num) + '_' + data['image_name']
#download images
download(image_url, image_name)
except:
pass
if __name__ == "__main__":
start_time = time.time()
get_image_info()
print("--- %s seconds ---" % (time.time() - start_time))
美女效果图：
Paste_Image.png
参考：
https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/