python爬取豆瓣top250的电影数据并存入excle

爬取网址: https://movie.douban.com/top250

一:爬取思路(新手可以看一下) :

1:定义两个函数,一个get_page函数爬取数据,一个save函数保存数据,mian中向get_page函数传递url和运save函数接受get_page函数传递过来的值

2:准备动手

二:爬取前的准备

我是pyhton3  pycharm

需要准备的库  requests,lxml,xlwt

requests解析url

lxml解析网页,获取数据

xlwt 向excle写入数据

三:代码实现(这里只是为了保存数据做演示,没有对数据做处理)

import  requestsfromlxmlimport etreeimport xlwt

all_list=[]#传入save函数的结果集

def  get_page(url):

    res=requests.get(url)

    ifres.status_code==200:

        html=etree.HTML(res.content)

        all=html.xpath('//div[@class="article"]/ol/li')#所有的数据都在li标签下,我们一这个为总节点

        fordetailin all:

            title=detail.xpath('.//div[@class="hd"]/a/span[1]/text()')[0]#电影名字

            score=detail.xpath('.//span[@class="rating_num"]/text()')[0]#评分

            comment_sum=detail.xpath('.//div[@class="star"]/span[4]/text()')[0]#评论人数

            quote=detail.xpath('.//p[@class="quote"]/span/text()')#引言  由于有的电影没有引言,不判断会报错

            iflen(quote)==0:

                quote='暂无引言'else:

                quote=quote[0]

            list=[]            list.append(title)            list.append(score)            list.append(comment_sum)            list.append(quote)

print(list) #输出结果在下面            all_list.append(list)#将所有的list都添加进一个list

else:

        print(res.status_code1)def  save(lists):

    book=xlwt.Workbook()

    sheet=book.add_sheet('douban')

    head = ['名字','评分','评价人数','引言']

    forhin range(len(head)):

        sheet.write(0, h, head[h])#写一个表头

    row=1#控制行forlistin lists:

        print(list)

        col=0#控制列forsin list:#循环我们的list的值

            sheet.write(row,col,s)

            col+=1        row+=1    book.save("doubantop250.xls")if__name__=='__main__':

    #0  25  50  75forxinrange(0,11):

        ifx==0:

            url='https://movie.douban.com/top250?start=0'            get_page(url)

        else:

            x=x*25            url='https://movie.douban.com/top250?start='+str(x)

            get_page(url)

    save(all_list)#讲结果集传入save函数

输出的list截图:


如果有小伙伴不知道为什么要这样存放数据的话可以看下这个网址:https://www.cnblogs.com/nancyzhu/p/8401552.html,我存入excle的思路就是来源于这个网址,写的真的很容易理解 我喜欢.所以本文就不在做过多赘述,有问题的或者觉得有更好的方法的可以一起交流一下

你可能感兴趣的:(python爬取豆瓣top250的电影数据并存入excle)