#!/usr/bin/env python
#coding:utf-8

import requests,re
from bs4 import BeautifulSoup
import random

def Fugitive(url):
    user_agent = [
                 "Mozilla/5.0 (Windows NT 10.0; WOW64)", 'Mozilla/5.0 (Windows NT 6.3; WOW64)',
                 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
                 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
                 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
                 'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
                 'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
                 'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
                 'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
                 'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
                 'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
                 'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
                 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
                 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
                 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
                 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
                 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
                 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
                 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
                 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
                 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
                 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11'
 ]
    response = requests.get(url,headers={"User-Agent":random.choice(user_agent)})
    soup = BeautifulSoup(response.text, "html.parser")
    topnumlist = []
    for hot in  soup.find_all('table',class_='c-table opr-toplist-table'):
        for top in  hot.find_all('td',class_="opr-toplist-right"):
            topnumlist.append(top.text)
        hotlist =  hot.find_all('a')
        toplist = 1
        for hot in hotlist:
            index = toplist-1
            print u'热点排名：'+str(toplist) +' '+u'搜索指数：'+topnumlist[index] +' '+u'标题:'+' ' + hot.string + ': '+ 'http://www.baidu.com'+ hot['href']
            toplist += 1

if __name__ == '__main__':
    url = 'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=fuweicha&rsv_pq=aa8d7ba10003ac85&rsv_t=fc47dbwwW3JNKozsF5%2FKJxxA3rGqCmjmDoZaL6K4AgHaDas5X19yZ4FbCd8&rqlang=cn&rsv_enter=1&rsv_sug3=9&rsv_sug1=7&rsv_sug7=100&rsv_sug2=0&inputT=2780&rsv_sug4=3625&rsv_sug=1'
    Fugitive(url)
热点排名：1 搜索指数：444530 标题: 华盛顿大规模游行: http://www.baidu.com/s?rsv_idx=1&wd=%E5%8D%8E%E7%9B%9B%E9%A1%BF%E5%A4%A7%E8%A7%84%E6%A8%A1%E6%B8%B8%E8%A1%8C&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：2 搜索指数：435622 标题: 冒充梁静茹诈骗: http://www.baidu.com/s?rsv_idx=1&wd=%E5%86%92%E5%85%85%E6%A2%81%E9%9D%99%E8%8C%B9%E8%AF%88%E9%AA%97&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：3 搜索指数：423959 标题: 四川泸州发生地震: http://www.baidu.com/s?rsv_idx=1&wd=%E5%9B%9B%E5%B7%9D%E6%B3%B8%E5%B7%9E%E5%8F%91%E7%94%9F%E5%9C%B0%E9%9C%87&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：4 搜索指数：418632 标题: 中国IT领袖峰会: http://www.baidu.com/s?rsv_idx=1&wd=%E4%B8%AD%E5%9B%BDIT%E9%A2%86%E8%A2%96%E5%B3%B0%E4%BC%9A&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：5 搜索指数：394663 标题: 摩托车拖死金毛: http://www.baidu.com/s?rsv_idx=1&wd=%E6%91%A9%E6%89%98%E8%BD%A6%E6%8B%96%E6%AD%BB%E9%87%91%E6%AF%9B&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：6 搜索指数：389704 标题: 任正非卸任副董事: http://www.baidu.com/s?rsv_idx=1&wd=%E4%BB%BB%E6%AD%A3%E9%9D%9E%E5%8D%B8%E4%BB%BB%E5%89%AF%E8%91%A3%E4%BA%8B&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：7 搜索指数：381255 标题: Fb又遭州级诉讼: http://www.baidu.com/s?rsv_idx=1&wd=Fb%E5%8F%88%E9%81%AD%E5%B7%9E%E7%BA%A7%E8%AF%89%E8%AE%BC&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：8 搜索指数：367755 标题: 空军战机战巡南海: http://www.baidu.com/s?rsv_idx=1&wd=%E7%A9%BA%E5%86%9B%E6%88%98%E6%9C%BA%E6%88%98%E5%B7%A1%E5%8D%97%E6%B5%B7&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：9 搜索指数：343051 标题: 八旬老人深陷泥潭: http://www.baidu.com/s?rsv_idx=1&wd=%E5%85%AB%E6%97%AC%E8%80%81%E4%BA%BA%E6%B7%B1%E9%99%B7%E6%B3%A5%E6%BD%AD&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：10 搜索指数：339561 标题: 拒安检闯地铁闸口: http://www.baidu.com/s?rsv_idx=1&wd=%E6%8B%92%E5%AE%89%E6%A3%80%E9%97%AF%E5%9C%B0%E9%93%81%E9%97%B8%E5%8F%A3&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：11 搜索指数：339010 标题: 小偷行窃遭勒索: http://www.baidu.com/s?rsv_idx=1&wd=%E5%B0%8F%E5%81%B7%E8%A1%8C%E7%AA%83%E9%81%AD%E5%8B%92%E7%B4%A2&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：12 搜索指数：338459 标题: 新燃岳火山再喷发: http://www.baidu.com/s?rsv_idx=1&wd=%E6%96%B0%E7%87%83%E5%B2%B3%E7%81%AB%E5%B1%B1%E5%86%8D%E5%96%B7%E5%8F%91&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：13 搜索指数：338091 标题: 足协整顿球员文身: http://www.baidu.com/s?rsv_idx=1&wd=%E8%B6%B3%E5%8D%8F%E6%95%B4%E9%A1%BF%E7%90%83%E5%91%98%E6%96%87%E8%BA%AB&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：14 搜索指数：334326 标题: 滑水道致男童死亡: http://www.baidu.com/s?rsv_idx=1&wd=%E6%BB%91%E6%B0%B4%E9%81%93%E8%87%B4%E7%94%B7%E7%AB%A5%E6%AD%BB%E4%BA%A1&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：15 搜索指数：327714 标题: 员工盗公司比特币: http://www.baidu.com/s?rsv_idx=1&wd=%E5%91%98%E5%B7%A5%E7%9B%97%E5%85%AC%E5%8F%B8%E6%AF%94%E7%89%B9%E5%B8%81&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：16 搜索指数：322387 标题: 京城迎最佳赏花期: http://www.baidu.com/s?rsv_idx=1&wd=%E4%BA%AC%E5%9F%8E%E8%BF%8E%E6%9C%80%E4%BD%B3%E8%B5%8F%E8%8A%B1%E6%9C%9F&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：17 搜索指数：321285 标题: 新加坡催婚出新招: http://www.baidu.com/s?rsv_idx=1&wd=%E6%96%B0%E5%8A%A0%E5%9D%A1%E5%82%AC%E5%A9%9A%E5%87%BA%E6%96%B0%E6%8B%9B&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：18 搜索指数：311551 标题: 欧文手术宣布成功: http://www.baidu.com/s?rsv_idx=1&wd=%E6%AC%A7%E6%96%87%E6%89%8B%E6%9C%AF%E5%AE%A3%E5%B8%83%E6%88%90%E5%8A%9F&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：19 搜索指数：305306 标题: 扎针放淤血险截肢: http://www.baidu.com/s?rsv_idx=1&wd=%E6%89%8E%E9%92%88%E6%94%BE%E6%B7%A4%E8%A1%80%E9%99%A9%E6%88%AA%E8%82%A2&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：20 搜索指数：303928 标题: 厄瓜多尔翻车事故: http://www.baidu.com/s?rsv_idx=1&wd=%E5%8E%84%E7%93%9C%E5%A4%9A%E5%B0%94%E7%BF%BB%E8%BD%A6%E4%BA%8B%E6%95%85&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：21 搜索指数：302826 标题: 俄拆除烂尾电视塔: http://www.baidu.com/s?rsv_idx=1&wd=%E4%BF%84%E6%8B%86%E9%99%A4%E7%83%82%E5%B0%BE%E7%94%B5%E8%A7%86%E5%A1%94&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：22 搜索指数：298510 标题: 库琴斯基被禁离境: http://www.baidu.com/s?rsv_idx=1&wd=%E5%BA%93%E7%90%B4%E6%96%AF%E5%9F%BA%E8%A2%AB%E7%A6%81%E7%A6%BB%E5%A2%83&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：23 搜索指数：287673 标题: 韩建筑工地陷火海: http://www.baidu.com/s?rsv_idx=1&wd=%E9%9F%A9%E5%BB%BA%E7%AD%91%E5%B7%A5%E5%9C%B0%E9%99%B7%E7%81%AB%E6%B5%B7&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：24 搜索指数：284275 标题: 美国空军基地遭袭: http://www.baidu.com/s?rsv_idx=1&wd=%E7%BE%8E%E5%9B%BD%E7%A9%BA%E5%86%9B%E5%9F%BA%E5%9C%B0%E9%81%AD%E8%A2%AD&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：25 搜索指数：271969 标题: 摧毁跨省贩毒通道: http://www.baidu.com/s?rsv_idx=1&wd=%E6%91%A7%E6%AF%81%E8%B7%A8%E7%9C%81%E8%B4%A9%E6%AF%92%E9%80%9A%E9%81%93&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：26 搜索指数：226785 标题: 马戏团联名声讨: http://www.baidu.com/s?rsv_idx=1&wd=%E9%A9%AC%E6%88%8F%E5%9B%A2%E8%81%94%E5%90%8D%E5%A3%B0%E8%AE%A8&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：27 搜索指数：212551 标题: 英国球迷大闹荷兰: http://www.baidu.com/s?rsv_idx=1&wd=%E8%8B%B1%E5%9B%BD%E7%90%83%E8%BF%B7%E5%A4%A7%E9%97%B9%E8%8D%B7%E5%85%B0&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：28 搜索指数：211081 标题: 乌拉圭2-0捷克: http://www.baidu.com/s?rsv_idx=1&wd=%E4%B9%8C%E6%8B%89%E5%9C%AD2-0%E6%8D%B7%E5%85%8B&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：29 搜索指数：178112 标题: 周立波涉枪案开庭: http://www.baidu.com/s?rsv_idx=1&wd=%E5%91%A8%E7%AB%8B%E6%B3%A2%E6%B6%89%E6%9E%AA%E6%A1%88%E5%BC%80%E5%BA%AD&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811
热点排名：30 搜索指数：172418 标题: 暴风雪袭罗马尼亚: http://www.baidu.com/s?rsv_idx=1&wd=%E6%9A%B4%E9%A3%8E%E9%9B%AA%E8%A2%AD%E7%BD%97%E9%A9%AC%E5%B0%BC%E4%BA%9A&ie=utf-8&rsv_cq=%E8%85%B9%E5%9B%B4%E5%B7%AE&rsv_dl=0_right_fyb_pchot_20811

python 抓取网络热点内容_第1张图片