python爬虫学习记录

python爬虫学习记录

python下载官网戳这里

爬虫的合法性
几乎每一个网站都有一个名为 robots.txt 的文档,当然也有部分网站没有设定 robots.txt。对于没有设定 robots.txt 的网站可以通过网络爬虫获取没有口令加密的数据,也就是该网站所有页面数据都可以爬取。如果网站有 robots.txt 文档,就要判断是否有禁止访客获取的数据。
我的学习过程:
1.本人有一定的python基础,所以略过了1.python基础知识储备,这部分目前是哪里忘了点哪里。
2.学习了HTML的皮毛,就是知道他大概是什么东西,浅显的会用他,知道css和xpath是啥
3.跟着知乎那个答主的思绪去学习,学到哪里不会,学那里。然后就补充出了各种工具的用法。
4.一边学一边写这篇博客去记录我的学习历程,每次看见这上面的东西变多,就会觉得自己知道的又更多了一点,未知又更多了了一点。
5.这篇文章有许多链接,这些知识是我在浏览器中搜寻发现通俗易懂的宝藏,所以这篇文章,不仅是文章,更是一个收藏集合。

文章目录

  • python爬虫学习记录
  • 一、基础知识储备
    • 1.python基础知识
    • 2.HTML
    • ① 解释:
    • ②编辑器:
    • 3.css选择器
    • 4.Xpath选择器
  • 二、工具
    • 1.页面下载器
    • **①requests(必学)**
    • ②scrapy
    • 2.页面解析器
    • ①BeautifulSoup(入门级)
    • ②pyquery (类似jQuery)
    • ③lxml
    • ④parsel
    • ⑤scrapy的Selector (强烈推荐, 比较高级的封装,基于parsel)
    • ⑥正则表达式
    • 3.数据存储
  • 三、学习过程
    • 1.爬虫原理:
    • 2. Python 爬虫学习思路:
    • **1.了解网页;**
    • **2.使用 requests 库抓取网站数据;**
    • **3.使用 Beautiful Soup 解析网页;**
    • 4.清洗和组织数据;
    • 5.爬虫攻防战;
    • 1.从代码开始
    • 2.为什么要import这个鬼东西:
    • 3.import别的行不行:
    • 4.为什么用get方法:
    • 5.如何用
    • 6.能不能用别的
    • ①HEAD
    • ②POST
    • 7.把百度换成你想爬的地址
    • 8.为什么要用utf-8
    • ①ASCII编码:
    • ②拓展ASCII编码:
    • ③Unicode编码:
    • ④utf-8:
    • ⑤GBK和GB2312和GB18030:
    • 什么时候用
    • **什么时候可以不用,什么时候可能还要换成别的,**
    • gb2312print是干嘛的
    • 9.如果要一次性获取很多页面的内容怎么办?
    • 10.网络请求等待很慢怎么办?
    • 11.获取到的数据很多,怎么从页面里提取出想要的内容?

一、基础知识储备

1.python基础知识

  • 1.语法知识
  • 2.文件读写
  • 3.数据存储
  • 4.表的结构设计,增减改
  • 5.正则表达式
  • 6.认识网页结构

2.HTML

学习网址戳这里

① 解释:

HyperText Markup Language,简称:HTML)是一种用于创建网页的标准标记语言。

HTML 是整个网页的结构,相当于整个网站的框架。带“<”、“>”符号的都是属于 HTML 的标签,并且标签都是成对出现的。

站点:

新建一个文件夹,在这个新建的文件夹中包含了我们设计的网页中所需要的、所用到的所有文件,我们可以通过创建它来对我们进行的网页进行管理,并且在我们进行网页的编辑和设计时,方便我们浏览,有次序的找到指定文件,点开管理站点,还可以对其素材文件一目了然,大大减少了我们的工作量。

②编辑器:

HTML其实是文本,它需要浏览器的解释,它的编辑器大体可以分为以下几种:
一、基本文本、文档编辑软件,使用微软自带的记事本或写字板都可以编写,当然,如果你用WPS或Word来编写也可以,不过保存时请使用.htm或.html作为扩展名,这样就方便浏览器认出直接解释执行了。

二、半所见即所得软件,如:FCK-Editer、E-webediter等在线网页编辑器;尤其推荐:Sublime Text代码编辑器(由Jon Skinner开发,Sublime Text2收费但可以无限期试用)。

三、所见即所得软件,使用最广泛的编辑器,完全可以一点不懂HTML的知识就可以做出网页,如:AMAYA,FRONTPAGE,Dreamweaver,Microsoft Visual Studio
其中所见即所得软件与半所见即所得的软件相比,开发速度更快,效率更高,且直观的表现更强。任何地方进行修改只需要刷新即可显示。缺点是生成的代码结构复杂,不利于大型网站的多人协作和精准定位等高级功能的实现。

  1. 字符集:
    ①ASCII字符
    ②汉字
    ③特殊字符:

使用情况:
一、网页中有其特殊意义的字符
二、键盘上没有该字符
使用格式:
字符代码(命名实体):字符代码以“&”符开始,以分号";“结束,其间是字符名
数字代码(编号实体):数字代码也以“&#”符开始,以分号”;"结束,其间是编号

python爬虫学习记录_第1张图片

3.css选择器

1.css(戳我了解更多):
用它来定义 HTML 元素 的样式,是你在HTML之后应该学习的第二门技术。HTML用于定义内容的结构和语义,CSS用于设计风格和布局。

2.css选择器(戳我了解更多):
规定了 CSS 规则会被应用到哪些元素上

4.Xpath选择器

1.xml:
可扩展标记语言,用于标记电子文件使其具有结构性的标记语言(类比HTML语言)
1.Xpath:
为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言

二、工具

1.页面下载器

①requests(必学)

安装request真的是血与泪的经历,python能更新还是尽早更新,因为pip是3.4以上版本才带有,虽然本人版本是3.8但多少还是一波三折,终于得到了requests。废话不多说,上过程。

2021.9.25,我更新了python,自我分析了一波:
我3.8的版本在c盘,但是3.9被安在了d盘,文件转移,路径改变导致新版本的pip根本不能用,最后删除3.9版本根本删不了,修复了,然后先删除文件,再删除软件,最后成功卸载了3.9,but,安装包也搞丢了,于是乎,与官网奋战,再次下载新版本。
更新后的感受:
pip居然不是最新的版本,那我只好,,,,,更新pip,然后发现,新版本,巨好用,贼拉爽。

1.检查自己是否有pip。3.4以上都有。
2.打开cmd,输入pip install requests
2.1若出现如下情况

C:\Users\Administrator>pip
'pip' 不是内部或外部命令,也不是可运行的程序或批处理文件。

2.1.1解决办法
首先找到python 安装目录下面的 Scripts 文件夹,其中有个 pip.exe 的程序,然后把这个目录加到环境变量中去。最后再次打开cmd。

安装目录怎么找:在CMD命令下输入以下代码:

>>>python
>>>import sys
>>>sys.path

目录如何加到环境变量中:
我的计算机》系统属性》高级设置》环境变量》path
看图戳这里
3.requests介绍:
python的第三方库,
**

②scrapy

**
3.selenium+chrome + PhantomJS(抓取动态网页,不推荐)
4.Splash(抓取动态网页,推荐)
对于下载器而言,python自带的urllib就不要花时间去学了,学了就忘,直接requests能满足大部分测试+抓取需求,进阶工程化scrapy,动态网页优先找API接口,如果有简单加密就破解,实在困难就使用splash渲染

2.页面解析器

解析页面

①BeautifulSoup(入门级)

②pyquery (类似jQuery)

③lxml

④parsel

⑤scrapy的Selector (强烈推荐, 比较高级的封装,基于parsel)

⑥正则表达式

3.数据存储

1.txt文本
2.csv文件
3.sqlite3 (python自带)
4.MySQL
5.MongoDB

按照业务需求来就行,一般快速测试使用MongoDB,业务使用MySQL

三、学习过程

1.爬虫原理:

发送请求——获得页面——解析页面——下载内容——储存内容

2. Python 爬虫学习思路:

1.了解网页;

网页一般由三部分组成,分别是 HTML(超文本标记语言)、CSS(层叠样式表)和 JScript(活动脚本语言)

2.使用 requests 库抓取网站数据;

通过 requests 库已经可以抓到网页源码,接下来要从源码中找到并提取数据。

3.使用 Beautiful Soup 解析网页;

Beautiful Soup 是 python 的一个库,其最主要的功能是从网页中抓取数据。Beautiful Soup 目前已经被移植到 bs4 库中,也就是说在导入 Beautiful Soup 时需要先安装 bs4 库。

4.清洗和组织数据;

5.爬虫攻防战;

作者:简单交易的狐狸
链接:https://www.zhihu.com/question/304686270/answer/545761703
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

某乎的回答,以下是本人的解答,如有不对,请斧正

1.从代码开始

`import requests
strhtml=requests.get("http://www.baidu.com")
strhtml.encoding='utf-8'
print(strhtml.text)

如果你能正常,打印,那么说明你至少会运行python脚本,会用pip把requests给装好然后去明白这几行都是什么意思,

这里不会的可以点击目录页面下载器

2.为什么要import这个鬼东西:

个人理解就是因为requests这个库不是python本身自带的,所以需要用import函数,导入库。和import math用法是一致的。

3.import别的行不行:

行,但是后面要用到requests库,依然要import

4.为什么用get方法:

获取数据,请求指定的页面信息,并返回实体主体。

请求url,(URL(Uniform Resoure Locator:统一资源定位器)是WWW页的地址,互联网上用来标识某一处资源的地址。)

5.如何用

需要调用 requests 库中的 get 方法:requests.get

将获取到的数据存到 strhtml变量中,代码如下:strhtml =request.get(url)

这个时候 strhtml 是一个 URL 对象,它代表整个网页,但此时只需要网页中的源码,下面的语句表示网页源码:

strhtml.text

6.能不能用别的

请求URL:http篇:post,get,options,put,delete,trace,connect

①HEAD

HEAD 类似于get请求,只不过返回的响应中没有具体的内容,用于获取报头

②POST

(跟着post走,用f12把我的有道翻译页面搞没有了,救救我,救救我2021.09.24)》》》就是这个神奇的东西,救救我,救救我

POST 向指定资源提交数据进行处理请求(例如提交表单或者上传文件)。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。

PUT 从客户端向服务器传送的数据取代指定的文档的内容。

DELETE 请求服务器删除指定的页面。

CONNECT HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。

OPTIONS 允许客户端查看服务器的性能。

TRACE 回显服务器收到的请求,主要用于测试或诊断。

7.把百度换成你想爬的地址

换成网易云,爬了一大堆。

看看能不能奏效:fine

8.为什么要用utf-8

strhtml.encoding='utf-8'

因为计算机只能处理数字,如果要处理文本,就必须先把文本转换为数字才能处理。

因为utf-8编码可变长,一会儿一个字符串是占用一个字节,一会儿一个字符串占用两个字节,还有的占用三个及以上的字节,导致在内存中或者程序中变得不好琢磨。unicode编码虽然占用内存空间,但是在编程过程中或者在内存处理的时候会比utf-8编码更为简单,因为它始终保持一样的长度一样的长度对于内存和代码来说,它的处理就会变得更加简单。

eg:Unicode、ASCII、GBK、GB2312、UTF-8。

原由:ASCII》》ASCII拓展》》Unicode符号集》》UTF-8/GBK和GB2312

①ASCII编码:

用来表示英文,它使用1个字节表示,其中第一位规定为0,其他7位存储数据,一共可以表示128个字符。

②拓展ASCII编码:

用于表示更多的欧洲文字,用8个位存储数据,一共可以表示256个字符

③Unicode编码:

包含世界上所有的字符,是一个字符集。

字符串在Python内部的表示是 unicode编码因此,在转换时,通常需要以unicode作为中间编码
先将其他编码的字符串解码:decode成unicode,
再从unicode编码:encode成另一种编码。

decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode(‘gb2312’),表示将gb2312编码的字符串str1转换成unicode编码。

encode的作用是将unicode编码转换成其他编码的字符串,如str2.encode(‘gb2312’),表示将unicode编码的字符串str2转换成gb2312编码。

转码的时候一定要先搞明白,字符串str是什么编码,然后decode成unicode,然后再encode成其他编码

④utf-8:

字符编码方式的一种,它是一种变长的编码方式。是Unicode字符的实现方式之一,它使用1-4个字符表示一个符号,根据不同的符号而变化字节长度。

⑤GBK和GB2312和GB18030:

都是针对简体字的编码,只是GB2312只支持六千多个汉字的编码,而GBK支持1万多个汉字编码。而GB18030是用于繁体字的编码。汉字存储时都使用两个字节来储存。GBK/GB2312/GB18030:表示汉字。GBK/GB2312表示简体中文,GB18030表示繁体中文。

什么时候用

主要针对的是Windows系统。所以涉及到Windows系统或者跨系统文件读写最好都加上,跟你的运行环境有关,因为默认编码不是utf-8

在做网络传输和文件保存的时候,出于空间和传输效率的考虑,将unicode编码转换成utf-8编码

什么时候可以不用,什么时候可能还要换成别的,

当从文件中读取数据到内存中的时候,将utf-8编码转换为unicode编码

gb2312print是干嘛的


数据只在res.text里面吗
用dir(res)看看它都有什么属性,打印res.content会如何以上都完成,你至少会明白,简单的爬虫不过是向一个url发送http请求,然后再它返回的数据里面拿到你想要的内容,这跟你用浏览器打开一个网页没有什么区别,只不过程序代你完成了。

9.如果要一次性获取很多页面的内容怎么办?

10.网络请求等待很慢怎么办?

11.获取到的数据很多,怎么从页面里提取出想要的内容?

为了解决这些问题,你可能要学会怎么分析url,怎么用python的语法把字符串拼起来,再丢到requests.get里面,怎么使用循环,等等很基本的问题学会用线程提高效率,而不是傻傻等待io,你可能慢慢会接触多线程,等等,然后scrapy之类学会用一些html解析的库,bs4,lxml,等等,甚至最基本的用正则re去把内容扣出来为了用这些库,你可能还要学会css的选择器等等然后你又会碰到一些网站直接发请求弄不下来,要学会用浏览器的调试,在network里面看请求,或者用charles抓包等等在请求不下来时你会碰到很多种问题,js渲染后的网页,数据在ajax里面的网页,没有cookies拿不到数据的网页这时候你可能会用到selenium等等东西然后你可能会碰到ip被封的问题,怎么使用代理,怎么买代理,合不合算的问题

你可能感兴趣的:(爬虫,笔记,学习记录,python,爬虫)