爬取豆瓣书籍

豆瓣读书“编程”类目下显示有16.1万本书，但是一页一页去翻，只能翻到第50页。再往后就没有数据了....所以这里只爬了前50页的数据。

下面的代码在python3中执行有效。

目的：获取前50页每本书的名字，ID，封面图，内容简介，并保存到数据库中。

1. 思路

先打开图书页面，可以看到每页展示20本书。
然后再看一下页面的URL，https://book.douban.com/tag/编程?start=0&type=T。
关注一下里面的两个参数start和type。
当页面是第一页的时候，start=0，在第二页的时候，start=20。所以这个参数的规律就是20*第几页。
参数type，表示的应该就是当前的图书分类。

知道了URL的规律之后，一种比较简单的思路就是：先进入第一页，获取当前页面20本书的链接，之后循环获取每本书的详细信息。然后再跳转到第二页，继续上面的动作。直到结束（第50页）。

2. 实现过程

1) 项目依赖

pymysql: 用来操作数据库
requests：发送请求，并获取页面源代码
pyquery：操作dom，获取dom的值。类似jquery

2）代码

额，打字好累，直接粘贴代码吧。。。。。

# 抓取豆瓣读书某个分类下的全部书籍简介
import pymysql
import requests
import time
from pyquery import PyQuery as pq


# 分类的第一页，程序开始的起点
page = 1
type = 'T' # 用来标识书籍类型
urlArr = [0 for i in range(20)] # 存放当前页面的20条书本链接
bookIDSql = []

# 链接数据库
# 这里的urer/password/bd，需要对应替换成你自己的，prot默认是3306就可以了
db = pymysql.connect(host="localhost", user="root", password="123456", port=3306, db="mydatabase") 
cursor = db.cursor()
cursor.execute("SELECT bookID FROM doubanBooksInfo")
data = cursor.fetchall()

# 获取数据库中现有的bookID
for item in data:
    bookIDSql.append(item[0])
print("已经存在的bookID：", bookIDSql)


# 获取当前页面的book链接，并放进数组urlArr
def getPageUrls (page, type):
    offset = 20 * (page - 1)
    url = 'https://book.douban.com/tag/编程?start=' + str(offset) + '&type=' + str(type)
    listPageReq = requests.get(url)
    resTxt = pq(listPageReq.text)
    pageUrlList = resTxt('.subject-item')
    try:
        if (pageUrlList):
            index = 0
            for item in pageUrlList:
                itempq = pq(item)
                thisUrl = itempq('.pic').find('a').attr('href')
                urlArr[index] = thisUrl
                index = index + 1
    except:
        print('报错了...')

# 从urlArr中依次取出链接，访问页面，获取该页面书籍的信息
def getBookInfo (url):
    # 如果当前id不存在于id列表，则进行获取书籍信息的操作
    if (checkBookID(getBookIDFromUrl(url), bookIDSql)):
        bookPageReq = requests.get(url)
        resTxt = pq(bookPageReq.text)
        contentWrapper = resTxt('#link-report .intro').find('p')
        # 书的ID
        bookID = url.split('/')[-2]
        # 书名
        bookName = resTxt('#mainpic a').attr('title')
        # 封面图
        bookImg = resTxt('#mainpic a').attr('href')
        # 书的简介
        bookContent = ''
        # 把多段文字拼合在一起
        for tag in contentWrapper:
            if (tag.text):
                bookContent = bookContent + tag.text
        # 插入到数据库中
        inertDataToSql(bookID, bookName, bookImg, bookContent)

# 把非重复的数据插入到数据库中
def inertDataToSql (bookID, bookName, bookImg, bookContent):
    sql = "INSERT INTO doubanBooksInfo(bookID, name, img, content) values (%s, %s, %s, %s)"
    try:
        cursor.execute(sql, (bookID, bookName, bookImg, bookContent))
        db.commit()
    except:
        db.rollback()

# 检验当前的id是否存在id列表中
def checkBookID (currentID, bookIDList):
    if (currentID not in bookIDList):
        bookIDList.append(currentID)
        print('该ID尚未存在，可以进行抓取')
        print('已经抓取数量：', bookIDList.__len__())
        return True

# 从url中获取当前的bookID
def getBookIDFromUrl (url):
    currentID = url.split('/')[-2]
    return currentID

# 让程序不断的执行，直到第50页
endPage = 51
while (page < endPage):
    print('目前在第：', page, '页')
    getPageUrls(page, 'T')
    for url in urlArr:
        getBookInfo(url)
        time.sleep(2)

    page = page + 1

数据库截图：

数据库字段截图.png

——————
程序很烂，希望后面会有时间优化。。。