注意:原文章写于2016年12月
广州天气页面:http://www.weather.com.cn/weather/101280101.shtml
了解该页面的HTML结构和需要的数据,这里抓取的为时间、该城市的天气内容、最低最高温度(如果有的情况下)。
创建项目并安装需要的Package:
编写python文件,引入Packages:
# -*- coding: UTF-8 -*-
import requests
import csv
import random
import time
import socket
import httplib
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
说明如下:
获取网页中的HTML代码:
def get_content(url, data=None):
header = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate, sdch',
'Accept-Language': 'zh-CN,zh;q=0.8',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'
}
timeout = random.choice(range(80, 180))
while True:
try:
rep = requests.get(url, headers = header, timeout = timeout)
rep.encoding = 'utf-8'
break
except socket.timeout as e:
print ('3:', e)
time.sleep(random.choice(range(8, 15)))
except socket.error as e:
print ('4:', e)
time.sleep(random.choice(range(20, 60)))
except httplib.BadStatusLine as e:
print ('5:', e)
time.sleep(random.choice(range(30, 80)))
except httplib.IncompleteRead as e:
print ('6:', e)
time.sleep(random.choice(range(5, 15)))
return rep.text
其中:
从HTML标签中获取需要的内容数据:
def get_data(html_text):
final = []
bs = BeautifulSoup(html_text, "html.parser")# 创建BeautifulSoup对象
body = bs.body # 获取body部分
data = body.find('div', {'id':'7d'}) # 找到id=7d的div
ul = data.find('ul', {'class':'t clearfix'})
li = ul.find_all('li')
# print li
for day in li: # 对每个li标签中的内容进行遍历
temp = []
# 这里有问题
date = day.find('h1').string # 找到日期
temp.append(date)
inf = day.find_all('p') # 找到li标签中所有的p标签
temp.append(inf[0].string) # 将第一个p标签中的内容(天气状况)加入到temp中
if inf[1].find('span') is None:
temperature_higgest = None # 天气预报可能没有当天的最高气温(到了傍晚,就是这样),需要加一个判断,来输出最低气温
else:
temperature_higgest = inf[1].find('span').string # 找到最高气温
# temperature_higgest = temperature_higgest.replace('℃', '') # 到了晚上网站内容会有变动,去掉这个符号
temperature_lowest = inf[1].find('i').string # 找到最低温度
# temperature_lowest = temperature_lowest.replace('℃', '')
temp.append(temperature_higgest)
temp.append(temperature_lowest)
final.append(temp)
return final
这里主要用到了BeautifulSoup工具,文档为:http://www.crummy.com/software/BeautifulSoup/bs4/doc/
从上述网页中的HTML结构可知,我们需要得到id=’7d’的div的ul,日期数据在该ul中的h1标签中,天气情况在该ul的p标签中,最高温度和最低温度在每个li的span和i标签中。
将获取到的数据写入CSV文件:
# 将数据抓取到的文件写入文件
def write_data(data, name):
file_name = name
with open(file_name, 'w') as f:
f_csv = csv.writer(f)
f_csv.writerows(data)
程序主函数:
# 主函数
if __name__ == '__main__':
url = 'http://www.weather.com.cn/weather/101280101.shtml'
html = get_content(url)
result = get_data(html)
write_data(result, 'weather.csv')