如何用Python爬取网页数据，Python爬取网页详细教程

大家好，本文将围绕python怎么爬取网站所有网页展开说明，如何用python爬取网页数据是一个很多人都想弄明白的事情，想搞清楚python如何爬取网页数据需要先了解以下几个事情。

1、如何用Python爬虫抓取网页内容?

爬虫流程
其实把网络爬虫抽象开来看，它无外乎包含如下几个步骤

• 模拟请求网页。模拟浏览器，打开目标网站。
• 获取数据。打开网站之后，就可以自动化的获取我们所需要的网站数据。
• 保存数据。拿到数据之后，需要持久化到本地文件或者数据库等存储设备中。

那么我们该如何使用 Python 来编写自己的爬虫程序呢，在这里我要重点介绍一个 Python 库：

• Requests。
• Requests 使用Requests 库是 Python 中发起 HTTP 请求的库，使用非常方便简单。
• 模拟发送 HTTP 请求
• 发送 GET 请求

当我们用浏览器打开豆瓣首页时，其实发送的最原始的请求就是 GET 请求

import requests
res = requests.get('')
print(res)
print(type(res))
>>>
<Response [200]>
<class 'requests.models.Response'>

2、怎样用python爬取网页

# coding=utf-8
import urllib
import re
# 百度贴吧网址:https://tieba.baidu.com/index.html
# 根据URL获取网页HTML内容
def getHtmlContent(url):
    page = urllib.urlopen(url)
    return page.read()
# 从HTML中解析出所有jpg的图片的URL
# 从HTML中jpg格式为
def getJPGs(html):
    # 解析jpg图片URL的正则表达式
    jpgReg = re.compile(r')
    # 解析出jpg的URL列表
    jpgs = re.findall(jpgReg, html)
    return jpgs
# 用图片url下载图片 并保存成制定文件名
def downloadJPG(imgUrl, fileName):
    urllib.urlretrieve(imgUrl, fileName)
# 批量下载图片,默认保存到当前目录下
def batchDownloadJPGs(imgUrls, path='../'):  # path='./'
    # 给图片重命名
    count = 1
    for url in imgUrls:
        downloadJPG(url, ''.join([path, '{0}.jpg'.format(count)]))
        print "下载图片第:", count, "张"
        count += 1
# 封装:从百度贴吧网页下载图片
def download(url):
    html = getHtmlContent(url)
    jpgs = getJPGs(html)
    batchDownloadJPGs(jpgs)
def main():
    url = "http://www.xiaofamao.com/dongman/"
    download(url)
if __name__ == '__main__':
    main()

3、如何用 Python 爬取需要登录的网站

最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单，因此我决定为它写一个辅助教程。

在本教程中，python数据处理，我们将从我们的bitbucket账户中爬取一个项目列表。

教程中的代码可以从我的 Github 中找到。

我们将会按照以下步骤进行：

在本教程中，我使用了以下包（可以在 requirements.txt 中找到）：

requests

lxml

步骤1：研究该网站

打开登录页面

进入以下页面 “bitbucket.org/account/signin”。你会看到如下图所示的页面（执行注销，以防你已经登录）

仔细研究那些我们需要提取的详细信息，以供登录之用

在这一部分，我们会创建一个字典来保存执行登录的详细信息：

1. 右击 “Username or email” 字段，选择“查看元素”。我们将使用 “name” 属性为 “username” 的输入框的值。“username”将会是 key 值，我们的用户名/电子邮箱就是对应的 value 值（在其他的网站上这些 key 值可能是 “email”，“ user_name”，“ login”，等等）。

2. 右击 “Password” 字段，选择“查看元素”。在脚本中我们需要使用 “name” 属性为 “password” 的输入框的值。“password” 将是字典的 key 值，我们输入的密码将是对应的 value 值（在其他网站key值可能是 “userpassword”，“loginpassword”，“pwd”，等等）。

3. 在源代码页面中，查找一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。“csrfmiddlewaretoken” 将是 key 值，而对应的 value 值将是这个隐藏的输入值（在其他网站上这个 value 值可能是一个名为 “csrftoken”，“ authenticationtoken” 的隐藏输入值）。列如：“Vy00PE3Ra6aISwKBrPn72SFml00IcUV8”。

最后我们将会得到一个类似这样的字典：

payload = {

"username": "",

"password": "",

"csrfmiddlewaretoken": ""

}

请记住，这是这个网站的一个具体案例。虽然这个登录表单很简单，但其他网站可能需要我们检查浏览器的请求日志，并找到登录步骤中应该使用的相关的 key 值和 value 值。

步骤2：执行登录网站

对于这个脚本，我们只需要导入如下内容：

import requests

from lxml import html

首先，我们要创建 session 对象。这个对象会允许我们保存所有的登录会话请求。

session_requests = requests.session()

第二，我们要从该网页上提取在登录时所使用的 csrf 标记。在这个例子中，我们使用的是 lxml 和 xpath 来提取，我们也可以使用正则表达式或者其他的一些方法来提取这些数据。

login_url = "n/?next=/"

result = session_requests.get(login_url)

tree = html.fromstring(result.text)

authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]

接下来，我们要执行登录阶段。在这一阶段，我们发送一个 POST 请求给登录的 url。我们使用前面步骤中创建的 payload 作为 data 。也可以为该请求使用一个标题并在该标题中给这个相同的 url 添加一个参照键。

result = session_requests.post(

login_url,

data = payload,

headers = dict(referer=login_url)

)

步骤三：爬取内容

现在，我们已经登录成功了，我们将从 bitbucket dashboard 页面上执行真正的爬取操作。

url = '/overview'

result = session_requests.get(

url,

headers = dict(referer = url)

)

为了测试以上内容，我们从 bitbucket dashboard 页面上爬取了项目列表。我们将再次使用 xpath 来查找目标元素，清除新行中的文本和空格并打印出结果。如果一切都运行 OK，输出结果应该是你 bitbucket 账户中的 buckets / project 列表。

tree = html.fromstring(result.content)

bucket_elems = tree.findall(".//span[@class='repo-name']/")

bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]

print bucket_names

你也可以通过检查从每个请求返回的状态代码来验证这些请求结果。它不会总是能让你知道登录阶段是否是成功的，但是可以用来作为一个验证指标。

result.ok # 会告诉我们最后一次请求是否成功

result.status_code # 会返回给我们最后一次请求的状态

• 提取登录需要的详细信息
• 执行站点登录
• 爬取所需要的数据

读者福利

如果你也喜欢编程，想通过学习Python转行、做副业或者提升工作效率，这份【最新全套Python学习资料】 一定对你有用！

对于0基础小白入门：

如果你是零基础小白，想快速入门Python是可以考虑的！

1、学习时间相对较短，学习内容更全面更集中

2、可以找到适合自己的学习方案

这份资料包含：Python安装包+激活码、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习等教程，带你从零开始系统性的学好Python！

我已经上传至CSDN官方，如果需要可以扫描下方二维码都可以免费获取【保证100%免费】

学好 Python 不论是就业、副业赚钱、还是提升学习、工作效率，都是非常不错的选择，但要学会 Python 还是要有一个学习规划。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python课程视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

三、精品书籍

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、清华编程大佬出品《漫画看学Python》

用通俗易懂的漫画，来教你学习Python，让你更容易记住，并且不会枯燥乏味。

五、Python实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、互联网企业面试真题

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

这份完整版的Python全套学习资料已经上传至CSDN官方，朋友们如果需要可以点击下方链接或扫描下方二v码都可以免费获取【保证100%免费】

最新全套【Python入门到进阶资料 & 实战源码 &安装工具】

以上全套资料已经为大家打包准备好了，希望对正在学习Python的你有所帮助！

如果你觉得这篇文章有帮助，可以点个赞呀~

我会坚持每天更新Python相关干货，分享自己的学习经验帮助想学习Python的朋友们少走弯路！