【Python实用技巧】爬取数据保存到Excel中

嗨嗨,大家好~今天来给你们分享一个小技巧

如何用python爬取数据保存到Excel中

话不多说,马上开始

需要源码、教程,或者是自己有关python不懂的问题,都可以来这里哦 https://jq.qq.com/?_wv=1027&k=s5bZE0K3 这里还有学习资料与免费课程领取

开发工具

  • Python版本:3.6
  • 相关模块:
import requests
from lxml import etree
import time, random, xlwt

主要思路

1.两页的内容
2.抓取每页title和URL
3.根据title创建文件,发送URL请求,提取数据

展示效果

【Python实用技巧】爬取数据保存到Excel中_第1张图片

完整代码

需要源码、教程,或者是自己有关python不懂的问题,都可以来这里哦 https://jq.qq.com/?_wv=1027&k=s5bZE0K3 这里还有学习资料与免费课程领取

# -*- conding:utf-8 -*-
import requests
from lxml import etree
import time, random, xlwt

# 专家委员会成员的xpath(‘//tbody//tr[@height='29']’)

class Doc_spider(object):

    def __init__(self):
        self.base_url = 'http://www.bjmda.com'
        self.url = 'http://www.bjmda.com/Aboutus/ShowClass.asp?ClassID=12&page={}'
        self.headers = {
   
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}

    def get_request(self, url):
        '''发送请求,返回html'''
        response = requests.get(url, headers=self.headers).content.decode('gbk')
        # time.sleep(random.random())
        html = etree.HTML(response)
        

你可能感兴趣的:(python,python,爬虫,开发语言)