爬虫学习笔记

Python爬虫学习笔记之requests库实战（与嵩天老师课程同步）

总结：1.模拟浏览器访问一些被爬取的网站在收到get请求时会检查get头部信息，默认python会设为requests库，当网站检测到这个请求是一个爬虫的时候，就会拒绝此次响应。解决方法：我们可以使用requests.get()的可选参数headers，将我们的请求头部模拟成一个真实的浏览器。（由于很多浏览器请求头都是mozilla/5.0）所以我们就模拟这个。·构造一个字典kv={‘user-a
LitaVadaski·2020-08-22 12:10

python爬虫学习笔记 2.9 （使用bs4得案例）

python爬虫学习笔记2.9（使用bs4得案例）python爬虫学习笔记1.1（通用爬虫和聚焦爬虫）python爬虫学习笔记1.2（HTTP和HTTPS）python爬虫学习笔记1.3str和bytes
还算小萌新？·2020-08-22 09:24

爬虫学习笔记8.1——pyspider的坑：pyspider all命令之后的报错

网上很多朋友已经解决了如下几个问题1.python3.7的async为新增关键字问题2.wsgidav的版本过高问题给出链接：1和2的解决办法我自己的问题：cannotimportname'DispatcherMiddleware'from'werkzeug.wsgi'(c:\python\lib\site-packages\werkzeug\wsgi.py)site:blog.csdn.netD
过气老娼·2020-08-22 04:46

爬虫学习笔记6——selenium库的简单使用

selenium库可以模拟浏览器打开网页，做到可见即可爬selenium支持chrome，Firefox，Edge浏览器。步骤0.导入相关库fromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium.webdriver.common.keysimportKeysfromselenium.webdri
过气老娼·2020-08-22 04:45

爬虫学习笔记7——使用matplotlib和pygal进行数据分析及可视化

1.绘制简单的折线图#plot()绘制折线图importmatplotlib.pyplotaspltinput_values=[1,2,3,4,5]squares=[1,4,9,16,25]#plot方法默认X轴是从0开始的，因此有时要给它提供输入值，输出值两个参数plt.plot(input_values,squares,linewidth=5)#linewidth决定了绘制线条的粗细plt.t
过气老娼·2020-08-22 04:45

爬虫学习笔记1——基本思路

爬虫学习笔记1——基本思路获取网页html从html中提取所需信息存储信息主函数中给出要爬取的网页的url,将各部分连接源代码来自崔庆才《python3网络爬虫开发实战》获取网页html使用requests
过气老娼·2020-08-22 04:45

【Python爬虫学习笔记8-2】MongoDB数据库操作详解

上一篇学习笔记8-1中介绍了MySQL和MongoDB的安装、启动和配置，本节我们接着学习有关MongoDB的一些概念、基本操作和在python中的使用。MongoDB常用概念为更好地了解MongoDB地概念，下表以SQL术语进行对照说明。MongoDB术语SQL术语说明databasedatabase数据库collectiontable数据集合/表documentrow数据记录文档/行field
weixin_34372728·2020-08-22 04:25

【Python爬虫学习笔记8-1】MySQL数据库和MongoDB数据库存储概述

之前学习的JSON和CSV两种数据存储方式，都是基于文件的存储，有时候运用起来或许不是那么方便，为此本节来介绍基于数据库管理的存储方式。在日常工作中，常用的数据库分为关系型数据库和非关系型数据库。关系型数据库关系型数据库是基于关系模型的数据库，而关系模型是通过二维表来保存的，即其存储方式是由若干行和列组成的表，每一列为一个字段，每一行为一条记录。我们可以把表看成是具有相同数据结构的实体(记录)的集
weixin_34205076·2020-08-22 04:41

python爬虫学习笔记（一）——环境配置（windows系统）

在进行python爬虫学习前，需要进行如下准备工作：python3+pip官方配置1.Anaconda（推荐，包括python和相关库）【推荐地址：清华镜像】https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/【安装过程中注意选择自动添加path到环境变量中，未选择需要自己添加】红色提示的意思是：自动添加的环境变量会处于最前面，自动成为默认，
weixin_34234829·2020-08-22 04:41

爬虫学习笔记：爬取百度贴吧（美女吧）图片

1、摘要目的：爬虫项目学习，使用requests方法，爬取百度贴吧美女吧每个帖子的图片，并保存到本地中。方法：首先，通过requests请求美女吧网页内容；其次，通过xpath方法清洗数据，获取到每个帖子的url地址；再次，请求每个帖子的地址，并从每个帖子地址中爬取图片链接；最后，请求图片数据，以二进制格式保存数据到本地。2、网页分析如下图所示，为本次爬取的目标网站，百度美女吧，需求：爬取每个帖子
明的大世界·2020-08-22 02:47

【Python3 爬虫学习笔记】爬虫基础 4 ——爬虫的基本原理

三、爬虫的基本原理1.爬虫概述简单来说，爬虫就是获取网页并提取和保存信息的自动化程序。1.1爬取网页爬虫首先要做的工作就是获取网页，这里就是获取网页的源代码。源代码包含了网页的部分有用信息，所以只要把源代码获取下载，就可以从中提取想要的信息。可以使用urllib、requests来爬取页面。1.2提取信息获取网页源代码后，接下来就是分析网页源代码，从中提取我们想要的数据。首先，最通用的方法便是采用
htsait4113·2020-08-22 01:34

爬虫学习笔记5——mongoDB的简单使用

1.导入pymongoimportpymongo2.连接数据库连接数据库,两种方式,生成两个连接数据库对象：#1.连接数据库,两种方式,生成两个连接数据库对象client_1=pymongo.MongoClient('mongodb://localhost:27017/')client_2=pymongo.MongoClient(host='localhost',port=27017)3.连接具体
过气老娼·2020-08-22 00:23

爬虫学习笔记3-Json-path、Xpath数据提取

1、数据提取-响应内容的分类（1）结构化响应json字符串：使用re、json、jsonpath等模块来提取特定数据（高频出现）xml字符串：使用re、lxml等模块来提取特定数据（低频出现）（2）非机构化响应html字符串：可以使用re、lxml等模块来提取特定数据1、xml和html的区别：html：超文本标记语言为了更好的显示数据，侧重点是为了显示xml：可扩展标记语言为了传输和存储数据，侧
陈弟弟·2020-08-21 12:51

python爬虫学习笔记（一）

爬虫的工作步骤：获取数据。根据网址，向服务器发起请求，获取服务器返回数据。解析数据。把服务器返回的数据解析成我们能读懂的格式。提取数据。从数据中提取我们需要的数据。储存数据。把有用的数据保存起来，便于以后使用和分析。初识Requests库爬虫获取数据，使用requests库。需要先安装requests库。pipinstallrequestsrequests库可以帮我们下载网页源代码、文本、图片，音
xiaozhiliao666·2020-08-19 22:39

爬虫学习笔记day05

1.json模块1.javascript中的对象和数组对象：{'key':'value'}数组：[x1,x2,x3]2.作用json格式字符串和python数据类型之间的转换3.常用的一些方法1.json.loads():json格式-->Python数据类型jsonpython对象字典数组列表2.json.dumps():python数据类型-->jsonpythonjson字典对象列表数组元组
走遍星空的CG·2020-08-19 18:44

Python爬虫学习笔记（实例：Selenium+cookies实现自动登录百度首页）

实现效果：利用selenium添加cookies信息登录百度首页，如果账号没有登录，则首次手动登录账号后去cookies信息写入文件，待浏览器60秒后自动关闭，工程目录下生成cookies.pkl文件，之后再登录百度首页账号自动登录完毕#!coding=utf-8importtimefromseleniumimportwebdriverimportpickleclassBaiduSpider(ob
二叉叔·2020-08-17 06:43

爬虫学习笔记

文章目录0.什么是爬虫？1.常用请求头和响应头信息1.1常用请求头信息1.2常用响应头信息1.3HTTPS协议2.Requests库2.1作用2.2入门案例2.3UA伪装2.4带参数的URL2.5Ajax请求2.5.1在浏览器中抓取Ajax请求2.5.2分析请求和响应信息2.5.3代码实现2.6下载图片（二进制文件）2.7综合应用2.7.1分析Ajax请求和响应信息2.7.2代码实现3.正则表达式
犇犇~·2020-08-16 19:45

爬虫学习笔记三、对网页unicode编码转化为中文

解决社会这种编码转换为中文的问题解决思路：1、处理字符串，采用截取字符串的办法，提取出34567位，如社截取793;2、处理截取的字符串转化为'\u'+第一步截取的字符串，转化二进制3、调用bytes对象的decode('unicode_escape')，二进制转义解码为中文strs='乱码的部分'defstr_jiequ(s):b=''foriinr
LCYong_·2020-08-16 05:04

Python爬虫基础教程，详细讲解（含爬取文字为乱码解决办法、反爬虫机制解决办法）

Python爬虫学习笔记前言适当爬取怡情，过度爬取…**爬取到的东西不要商用！爬取到的东西不要商用！爬取到的东西不要商用！
漫游感知·2020-08-14 16:23

爬虫学习笔记：天猫（淘宝）评论数据爬虫

目录1、杂语2、目的和方法2.1目的2.2爬虫方法step1：获取cookie信息与评论url地址step2：获取请求头信息user-agentstep3：查看评论数据step4：编写程序3、完整程序4、总结1、杂语近期课程需要爬取淘宝、天猫商品评论信息，进行数据挖掘分析和情感分析。在网上查找相关资料，翻阅一些博客和csdn文章，对淘宝天猫商品评论爬虫有了一些了解，并且成功爬取到需要的数据。因此，
明的大世界·2020-08-13 15:48

爬虫学习笔记（一）初识爬虫

什么是爬虫？爬虫是什么呢，就是地上爬的小虫子，就是爬虫咯。呵呵，开个玩笑，一般说的爬虫都是网络爬虫。那什么是网络爬虫呢，百度百科的解释是这样子的：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。额，这一大坨，总结来说就一句话，就是从某个网站上获
weixin_34364071·2020-08-12 13:37

Python 爬虫学习笔记(四)

python爬虫学习笔记(四)【Python网络爬虫与信息提取】.MOOC.北京理工大学中国大学排名定向爬虫#视频33:中国大学排名定向爬虫实例importrequestsfrombs4importBeautifulSoupimportbs4defgetHTMLtext
柠檬汽水橘子汁·2020-08-12 12:36

Python3爬虫学习笔记——xpath练习之爬取起点网玄幻小说排行

这次看完xpath章之后巩固练习importreimportrequestsfromlxmlimportetreedefget_one_page(url):headers={'User-Agent':'MOzilla/5.0(Macintosh;InterMacOSX10_13_3)AppleWebKit/537.36(KHTML,likeGecko)Chrome/65.0.3325.162Saf
mirocp·2020-08-12 12:49

Python3爬虫学习笔记——正则表达式练习之爬取起点网完本玄幻小说信息

说来惭愧，在看完崔庆才写的Python3网络爬虫开发实战的requests篇和正则表达式篇后，就想练练手，于是想到了最近书荒，就像看看小说，于是就。。。但是呢，在chrome下参考网站源码还写正则表达式后，并不能获取到想要的数据。查看输出html后，发现获取到的html源码并非与chrome上Elements提供的相同。查询相关资料后了解到Elements显示的源码时经过渲染以后的源码。所以需要查
mirocp·2020-08-12 12:49

Python爬虫学习笔记二：urllib

urllib模拟浏览器发送请求的库，Python自带Python2:urlliburllib2Python3:urllib.requesturllib.parse1urllib.requestresponseurlopen(url)urlretrieve(url,image_path)importurllib.requesturl='heep://www.baidu.com'#完整的url#htt
WM宸·2020-08-12 10:53

30个小时 Python 网络爬虫 学习笔记

30个小时Python网络爬虫学习笔记视频网址https://www.bilibili.com/video/av41205961?
mrcrack·2020-08-11 15:54

爬虫学习笔记（十六）Selenium 2020.5.20

前言本节学习selenium得说一句这节课程讲的不行很多讲明白就先记一笔准备后续自己再看看可参考的几篇官方文档针对python的文档详解1、简介浏览器的工作原理网页三元素html负责内容css负责样式JavaScript负责动作从数据的角度考虑，网页上呈现出来的数据的来源：html文件ajax接口javascript加载可参考原理详解Selenium诞生于2014年，创造者是ThoughtWork
思源湖的鱼·2020-08-11 14:01

python爬虫学习笔记 1.8 （urllib:get请求和post请求）

python爬虫学习笔记1.8（urllib:get请求和post请求）python爬虫学习笔记1.1（通用爬虫和聚焦爬虫）python爬虫学习笔记1.2（HTTP和HTTPS）python爬虫学习笔记
还算小萌新？·2020-08-11 05:17

python爬虫学习笔记（一）—— 爬取腾讯视频影评

前段时间我忽然想起来，以前本科的时候总有一些公众号，能够为我们提供成绩查询、课表查询等服务。我就一直好奇它是怎么做到的，经过一番学习，原来是运用了爬虫的原理，自动登陆教务系统爬取的成绩等内容。我觉得挺好玩的，于是自己也琢磨了一段时间，今天呢，我为大家分享一个爬虫的小实例，也算是记录自己的学习过程吧。我发现腾讯视频出了一部新的电视剧，叫做《新笑傲江湖》，也不知道好看不好看，反正我只喜欢陈乔恩版的东方
行歌er·2020-08-10 08:17

Python爬虫学习笔记（一）

1.urllib2简介urllib2的是爬取URL（统一资源定位器）的Python模块。它提供了一个非常简单的接口，使用urlopen函数。它能够使用多种不同的协议来爬取URL。它还提供了一个稍微复杂的接口，用于处理常见的情况-如基本身份验证，cookies，代理等。2.抓取URLs使用urlib2的简单方式可以像下面一样：importurllib2response=urllib2.urlopen
weixin_30642561·2020-08-10 07:07

python爬虫学习笔记

文章目录第一章网络请求1、`urllib`库1.01、`urlopen`函数：1.02、`urlretrieve`函数：1.03、`urlencode`函数：1.04、`parse_qs`函数：1.05、`urlparse`和`urlsplit`：1.06、`request.Request`类：1.07、proxyHandler处理器(代理设置)1.08、什么是`cookie`：1.09、使用`c
fdk少东家·2020-08-10 05:08

爬虫学习笔记（十九）多进程多线程 2020.5.25

前言本节学习多进程多线程一些参考Python的线程与进程python的asynciopython的异步编程1、简介进程（Process）对于操作系统来说，一个任务就是一个进程比如打开一个浏览器就是启动一个浏览器进程，打开一个记事本就启动了一个记事本进程，打开两个记事本就启动了两个记事本进程，打开一个Word就启动了一个Word进程线程（thread）有些进程还不止同时干一件事，比如Word，它可以
思源湖的鱼·2020-08-10 04:07

python3爬虫学习笔记之分析动态渲染网页爬取Selenium+Chrome（九）

JavaScript动态渲染并不是只有Ajax这一种，一些页面并不能通过前面章节的分析方法分析并爬取数据，所以就有了模拟浏览器运行的方式来实现爬取，这样在浏览器中看到是什么样，抓取的源码就是什么样的，无需考虑用了什么方式渲染页面。Python提供了很多模拟浏览器的库，这里我们介绍selenium的使用。Selenium是一个自动化测试工具，利用它就可以驱动浏览器执行特定的人任务，如点击、下拉等操作
不吃鱼的猫~·2020-08-08 22:56

python爬虫学习笔记（一）

HTTP协议与requests库HTTP(HypertextTransferProtocol)超文本传输协议HTTP是一个基于“请求与响应”模式的，无状态的应用层协议HTTP协议采用URL作为定位网络资源的标识URL格式http://host[:port][path]host:表示合法的Internet主机域名或IP地址port:端口号，缺省为80path:请求资源的路径（服务器内部路径）HTTP
_Celeste_·2020-08-08 20:38

Python3爬虫学习笔记（5.Selenium简单操作介绍）

这是一个很重要的模块，建议学会！这里建议的介绍下，后面会结合实例详细分析首先调出cmd，输入pipinstallselenium然后输入相应的代码，发现出错，接下来就是让我用来一早上才弄好的：必须到这个网站下载这个，然后把它放在系统PATH下面https://github.com/mozilla/geckodriver/releases访问页面：fromseleniumimportwebdrive
__XYQ·2020-08-08 20:03

python爬虫学习笔记5爬虫类结构优化

代码库传送门前文传送门：python爬虫学习笔记1一个简单的爬虫python爬虫学习笔记2模拟登录与数据库python爬虫学习笔记3封
憧憬少·2020-08-08 20:25

【Python3 爬虫学习笔记】数据存储 6 -- MongoDB存储 2

更新对于数据更新，我们可以使用update()方法，指定更新的条件和更新后的数据即可。例如：condition={'name':'Kevin'}student=collection.find_one(condition)student['age']=25result=collection.update(condition,student)print(result)这里我们要更新name为Kevin
htsait4113·2020-08-08 16:56

Python爬虫学习笔记

一、了解网页结构支撑起各种光鲜亮丽的网页的不是别的,全都是一些代码.这种代码我们称之为HTML（超文本标记语言）,HTML是一种浏览器(Chrome,Safari,IE,Firefox等)看得懂的语言,浏览器能将这种语言转换成我们用肉眼看到的网页.所以HTML里面必定存在着很多规律,我们的爬虫就能按照这样的规律来爬取你需要的信息。用户看到的网页实质是由HTML代码构成的，爬虫爬来的便是这些内容，通
SpringRolls·2020-08-08 13:42

python爬虫学习笔记

爬虫基础目录爬虫基础day01爬虫基础知识模块一：模块二模块三循环抓取页面day02模块四抓取豆瓣排行榜信息模块五爬取百度翻译模块六人人网实现代码登录代理IP的原理day03模块七分析拉钩网的json格式数据正则表达式模块八day04xpathbs4day05多线程day06反爬思路分析额外添加小结day01爬虫学习来源：（逆风学习网：买的2019年3月份黑马爬虫阶段课程，很遗憾没有文档。。。）（
丿於豪·2020-08-08 11:42

【Python3 爬虫学习笔记】数据存储 5 -- MongoDB存储 1

NoSQL，全称NotOnlySQL，意为不仅仅是SQL，泛指非关系型数据库。NoSQL是基于键值对的，而且不需要经过SQL层的解析，数据之间没有耦合性，性能非常高。非关系型数据库又细分如下：键值存储数据库：代表有Redis、Voldemort和OracleBDB等。列存储数据库：代表有Cassandra、HBase和Riak等。文档型数据库：代表有CouchDB和MongoDB等。图形数据库：代
htsait4113·2020-08-08 11:57

Python爬虫学习笔记 asyncio+aiohttp 异步爬虫原理和解析

爬虫是IO密集型任务，比如如果我们使用requests库来爬取某个站点的话，发出一个请求之后，程序必须要等待网站返回响应之后才能接着运行，而在等待响应的过程中，整个爬虫程序是一直在等待的，实际上没有做任何的事情。1.基本概念阻塞阻塞状态指程序未得到所需计算资源时被挂起的状态。程序在等待某个操作完成期间，自身无法继续处理其他的事情，则称该程序在该操作上是阻塞的。常见的阻塞形式有：网络I/O阻塞、磁盘
叶庭云·2020-08-08 10:56

Python数据爬虫学习笔记（5）自动模拟HTTP请求

客户端若要与服务器端进行通信，需要通过http请求进行，http请求有很多种，本文会涉及post与get两种请求方式。当进行网页信息提交操作如登录时会使用Post请求、当在网页进行信息检索时会使用Get请求。一、Post请求：首先找到一个具有登录界面的网页，本文使用了http://www.iqianyue.com/mypost这一网址：观察这一网址的源代码：PostTestPagename:pas
Zhengyh@Smart3S·2020-08-06 12:03

python网络爬虫学习笔记（一）配置安装python环境

博主的毕设是要做一个指定领域的问答系统，寒假要做的就是确定领域，拿到数据。自己比较喜欢看书，所以选择书籍领域，数据找了好久都没找到现成的数据，就想着自己学学python写写爬虫，上网爬些数据。但对python一丁点都不了解，在学习的过程中整理了一下笔记。一、下载python请移步至python下载地址。我下载的是3.6.x版本的。二、配置环境变量安装的时候好像有个选项勾上就已经自动配置好环境变量了
_遇见_·2020-08-05 11:30

python爬虫学习笔记（二） —— Scrapy安装

最近想学习通过Scrapy框架实现爬虫项目，于是就在自己的windows系统上安装Scrapy框架。可是呢，天公不作美，安装过程中出现了意外。在此，为了方便自己以后能够快速地解决出现此问题，笔者在此对在安装的过程以及所出现的问题与解决办法进行相应的描述和记录。我采用pip来安装Scrapy。在python3中，pip是默认安装好的，在windows中打开“运行”输入框，通过输入cmd进入cmd命令
行歌er·2020-08-04 20:14

爬虫学习笔记--Tor隐藏Ip

因为在爬虫时，如果使用了默认的IP可能导致自己的IP遭到封禁所以就要隐藏自己的IP事先说明爬虫要有度也要考虑服务器的压力本篇基于win10tor的原理http://www.cnblogs.com/likeli/p/5719230.htmlhttp://blog.csdn.net/whiup/article/details/52317779https://www.deepdotweb.com/201
little_people·2020-08-04 06:37

【python爬虫学习笔记】爬取豆瓣电影top250

基于requests库以及lxml库，实现豆瓣top250名单的爬取，并将海报存储在本地。模块使用如下importrequestsfromlxmlimportetreeimportosimporttimerequests库以及lxml库均为第三方库需另外安装。requests用于网页的请求部分1.构建网页请求函数，URL作为参数，返回requests对象。defurl_open(url):#网页请
qq_41853032·2020-08-02 13:40

Scrapy爬虫案例-淘宝比价定向爬虫学习笔记

说明Scrapy爬虫案例-淘宝比价定向爬虫学习笔记学习教程：Python网络爬虫与信息提取授课老师：嵩天官方网站：https://python123.io教程链接：https://python123.io
yangyangpython·2020-07-31 10:23

Python3 爬虫学习笔记 C14【验证码对抗系列 — 点触验证码】

Python3爬虫学习笔记第十四章——【验证码对抗系列—点触验证码】文章目录【14.1】关于点触验证码【14.2】点触验证码攻克思路【14.3】模拟登录12306—总体思路【14.4】主函数【14.5】
TRHX • 鲍勃·2020-07-30 19:46

爬虫学习笔记(点击加载内容的爬取)-001

今天再爬一个网站时遇到通过jsonp的形式回传后续内容的网站(如图)：经过观察发现每点击一个这个按钮，浏览器就会发送两个get请求：而第一个参数里边返回的内容正好是我们要的东西，此时再看它的url:https://shankapi.ifeng.com/shanklist/_/getColumnInfo/_/default/6470973085922103296/1542800353000/20/1
呆小宇·2020-07-30 17:25

初学Python之爬虫

爬虫学习笔记什么是爬虫？
仙道的人字拖·2020-07-30 04:56
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他