Python爬取百度搜索结果(标题，摘要，链接)

近期想要爬取百度搜索的结果，网上的教程一直没有找到可以直接用的，尝试了几个小时终于摸索出了可以用的代码。

主要的问题在于 url 的形式，之前的教程一般是这种形式：

url = 'https://www.baidu.com/s?' + word + '&pn=0' # word为搜索关键词，pn用来分页

由于百度每个页面显示10条结果，'&pn=n' 表示第 n 条结果，n = 0~9 表示第一页，n = 10~19 表示第二页，以此类推。然而在运行代码时发现这种形式的 url 从第二页开始就无法正常爬取了。关于 url 格式我一直没有搞清楚，但是我摸索出了一种方法能得到可用的 url；

首先按照上面那个 url 形式，比如要搜索“咖啡”，则将 'word' 改为 "咖啡"： https://www.baidu.com/s?咖啡&pn=0 并复制到浏览器， 如下图，这是搜索“咖啡”以后的第一页：

 

然后点击下方页码，打开第二页： 

 

下图为搜索“咖啡”结果的第二页，可以看到上方 url 地址出现 '&pn=10'；

 

复制此地址作为我们的搜索 url，形式如下(复制以后中文“咖啡”两字被自动编码了)：

url = 'https://www.baidu.com/s?wd=%E5%92%96%E5%95%A1&pn='+ number +'&oq=%E5%92%96%E5%95%A1&ie=utf-8&usm=1&rsv_pq=9ccd7f6500120ebb&rsv_t=d92fDeHr8TAXzN%2FuqzNW3xd3BcU3lunThKY2lkUUobFc3Ihjx46MPW4iNbc'

以下是全部代码：

import time
from bs4 import BeautifulSoup    #处理抓到的页面
import sys
import requests
import re
import importlib
importlib.reload(sys)#编码转换，python3默认utf-8,一般不用加

 

#ff = open('test.txt', 'w')

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Encoding': 'gzip, deflate, compress',
    'Accept-Language': 'en-us;q=0.5,en;q=0.3',
    'Cache-Control': 'max-age=0',
    'Connection': 'keep-alive',
    'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'
} #定义头文件
 
def getfromBaidu():
    start = time.clock()
    for k in range(1, 3):
        geturl(k)
    end = time.clock()
    print(end-start)
 
def geturl(k):
    number = str((k - 1) * 10)
    path = 'https://www.baidu.com/s?wd=%E5%92%96%E5%95%A1&pn=' + number + '&oq=%E5%92%96%E5%95%A1&ie=utf-8&usm=1&rsv_pq=9ccd7f6500120ebb&rsv_t=d92fDeHr8TAXzN%2FuqzNW3xd3BcU3lunThKY2lkUUobFc3Ihjx46MPW4iNbc'
    #print(path)
    content = requests.get(path,headers=headers)
    #使用BeautifulSoup解析html
    soup = BeautifulSoup(content.text,'html.parser')

    tagh3 = soup.find_all('div', { 'class', 'result c-container '})
    #print(tagh3)
    for h3 in tagh3:
        try:
            title = h3.find(name = "h3", attrs = { "class": re.compile( "t")}).find('a').text.replace("\"","")
            print(title)
            #ff.write(title+'\n')
        except:
            title = ''
        try:
            abstract = h3.find(name = "div", attrs = { "class": re.compile( "c-abstract")}).text.replace("\"","")
            print(abstract)
            #ff.write(abstract+'\n')
        except:
            abstract = ''
        try:
            url = h3.find(name = "a", attrs = { "class": re.compile( "c-showurl")}).get('href')
            print(url+'\n')
            #ff.write(url+'\n')
        except:
            url = ''
  
        #ff.write('\n')
 
 
if __name__ == '__main__':
    getfromBaidu()

爬取结果如下：