2019-04-20--重学Python04--中国天气网-爬去城市信息-第一版

照猫画虎，对照着视频教程，编写成功。
这还是最基本的草稿，数据只是爬了下来。并没有进行任何处理。例如做成图表，或者存入到excel当中。

但是感觉有一点点成就感，毕竟更加熟练了一些。
代码先放到这里把。

'''
1,http://www.weather.com.cn/textFC/hb.shtml
2, soup = BeautifulSoup(wb_data.content.decode("utf-8"), "lxml" )  这里，用wb_data.text 就会出现失误，因为.text会自动进行解码，容易产生乱码。
而 wb_data.content 获得的是byte数据类型。可以解码修改成正确的。
3,lambda,map函数，sorted函数等高级用法，说实在的我都不熟练，只是懵懵懂懂一些。代码我照着视频敲下来而已。
4，html5lib与lxml的差别还是非常关键的，如果不是老师带着我，这里我肯定会卡住。解析器的不同，效果也差了好多。
5，enumerat函数，能加了一个索引值？长见识，但还是不理解。
6.这里有个新发现，一个def当中，还可以定义一个def，这跟按键精灵区别很大啊！
7，pyecharts 这个模块，我没有导入成功，有时候单独研究一下把。这里先这样吧
'''

import requests
from bs4 import BeautifulSoup
#from pyecharts import Bar
url = "http://www.weather.com.cn/textFC/hb.shtml"
ALL_DATA = []

def parse_page(url):
#下载一个页面的所有城市信息
    header = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36",
        "Cookie": "Hm_lvt_bfc6c23974fbad0bbfed25f88a973fb0=1555332332; Hm_lvt_080dabacb001ad3dc8b9b9049b36d43b=1555332333; vjuids=-1b69e3046.16a2107fc50.0.e5926c97b291b; vjlast=1555332333.1555332333.30; userNewsPort0=1; f_city=%E6%B2%88%E9%98%B3%7C101070101%7C; Wa_lvt_1=1555332333; Wa_lpvt_1=1555332348; Hm_lpvt_bfc6c23974fbad0bbfed25f88a973fb0=1555332408; Hm_lpvt_080dabacb001ad3dc8b9b9049b36d43b=1555332409",

    }
    wb_data = requests.get(url, headers=header)
    soup = BeautifulSoup(wb_data.content.decode("utf-8"), "html5lib")
    conMidtab = soup.find("div",class_="conMidtab")
    tables = conMidtab.find_all("table")
    for table in tables:
        trs = table.find_all("tr")[2:] #前两个是表头，不是我想要的城市，所以舍去。
        for index,tr in enumerate(trs):   # enumerate 用法我头一次见，不理解。
            tds = tr.find_all("td")
            citi_td = tds[0] #获取第一个td标签里内容，都是城市
            if index == 0:
                city_td = tds[1]
            #print(citi_td)
            city = list(citi_td.stripped_strings)[0]
            #.stripped_strings 获取一个标签下面所有的子孙节点与文本，然后删除掉空白字符。返回的是一个生成器，然后将生成器转换成了一个列表！
            # stripped_string,少写了一个s，很严重。
            #print(city)
            temp_td = tds[-2]  #获取所有td标签中倒数第二个标签。
            min_temp = list(temp_td.stripped_strings)[0]
            ALL_DATA.append({"city":city,"min_temp":int(min_temp)} )

            # print({"city":city,"min_temp":int(min_temp)})   #这里厉害了，将城市与对应的温度联系了起来，用字典的形式
            #ALL_data.append({"city":city,"min_temp":min_temp })



def main():
    url = "http://www.weather.com.cn/textFC/hb.shtml"
    url2= "http://www.weather.com.cn/textFC/db.shtml"
    url3 = "http://www.weather.com.cn/textFC/hd.shtml"
    url4= " http://www.weather.com.cn/textFC/hz.shtml"
    url5= " http://www.weather.com.cn/textFC/hn.shtml"
    url6 = "http://www.weather.com.cn/textFC/xb.shtml"
    url7 = "http://www.weather.com.cn/textFC/xn.shtml"
    url8 ="http://www.weather.com.cn/textFC/gat.shtml"
    urls = {
        "http://www.weather.com.cn/textFC/hb.shtml",
        "http://www.weather.com.cn/textFC/db.shtml",
        "http://www.weather.com.cn/textFC/hd.shtml",
        " http://www.weather.com.cn/textFC/hz.shtml",
        " http://www.weather.com.cn/textFC/hn.shtml",
        "http://www.weather.com.cn/textFC/xb.shtml",
        "http://www.weather.com.cn/textFC/xn.shtml",
        "http://www.weather.com.cn/textFC/gat.shtml"
    }

    for url in urls:
        parse_page(url)

    #分析数据，根据最低气温进行排序
    ALL_DATA.sort(key=lambda data:data["min_temp"])
    print(ALL_DATA)
    # data = ALL_DATA[0:10]
    # cities = map(lambda x:x["city"], data)
    # temps = map(lambda x:x["min_temp"], data )
    # chart = Bar("中国天气最低排行榜")
    # chart.add(" ",cities,temps )
    # chart.render("1.html")


    # def sort_key(data):
    #     min_temp = data("min_temp")
    #     return min_temp


main()

if __name__ == "_main_":
    main()
# print(conMidtab)
# print(soup)