本笔记是爬虫进阶的第一篇，关于本系列笔记的介绍，请看Python爬虫进阶-前言。本篇也是爬虫三大环节：数据获取、数据解析、数据存储中的第一个环节数据获取的首篇，主要介绍curl。

适合做爬虫的原因语言本身简单，适合敏捷开发有比较完善的工具链足够灵活，以应对各种突然状况爬虫的知识体系前端相关知识：html，css，js；浏览器相关知识；各种数据库的运用；http协议的了解；对于前后台联动的方案；爬虫进阶的工作流程

十四、GIL和Lock的关系（下）有了GIL，为什么还需要Lock：GIL只是保证全局同一时刻只有一个线程在执行，但是他并不能保证执行代码的原子性。也就是说一个操作可能会被分成几个部分完成，这样就会导致数据有问题。所以需要使用Lock来保证操作的原子性。作业：1、用多线程的方式爬取“百思不得姐”段子作业。2、网址：http://www.budejie.com/text/3、爬取下来后需要用csv保

立即学习:https://edu.csdn.net/course/play/9882/209886?utm_source=blogtoedu创建项目：scrapystartprojectdemocddemoscrapygenspidernamefang.5i5j.com先运行检验一下以上步骤：scrapycrawlfang获取标题信息hlist=response.css("div.houseLis

动态网页数据抓取使用AJAX加载的数据，即使使用了JS，将数据渲染到了浏览器中，在右键->查看网页源代码还是不能看到通过ajax加载的数据，只能看到使用这个url加载的html代码。获取ajax数据的方式：直接分析ajax调用的接口。然后通过代码请求这个接口。使用Selenium+chromedriver模拟浏览器行为获取数据。方式优点缺点分析接口直接可以请求到数据。不需要做一些解析工作。代码量少

在之前的文章node入门场景之——爬虫已经介绍过最简单的node爬虫实现，本文在原先的基础上更进一步，探讨一下如何绕过登录，爬取登录区内的数据目录理论基础如何维持登录态浏览器是怎么做的node实现访问登录接口获取cookie请求登录区内接口如果有验证码怎么破延伸总结一、理论基础如何维持登录态http作为一种无状态的协议，客户端和服务器端之间不会保持长连接。在一个一个相互独立的请求响应之间，服务器如

今天带大家分析一下某建筑市场监管平台的数据加密链接:aHR0cDovL2p6c2MubW9odXJkLmdvdi5jbi9kYXRhL2NvbXBhbnk=点击企业查询,发现返回的数据是经过加密后的数据1.寻找返回的数据既然数据是通过这个url返回的,全局搜索urlhttp://jzsc.mohurd.gov.cn/api/webApi/dataservice/query/comp/list?pg

JS逆向房天下登录RSA0x01目标网址aHR0cHM6Ly9wYXNzcG9ydC5mYW5nLmNvbS8NCg==0x02定位js1.随变输入账号和密码，点击登录，查看提交的参数2.我们可以看到，密码进行了加密，接下来我们搜索参数pwd3.点击跟进去，然后进行代码格式化，在pwd处打上断点0x03分析js1.打上断点之后，我们再次点击登录，停在了我们打断点的地方2.我们跟进去加密函数，代码格

字体反爬案例爬取一些网站的信息时，偶尔会碰到这样一种情况：网页浏览显示是正常的，用python爬取下来是乱码，F12用开发者模式查看网页源代码也是乱码。这种一般是网站设置了字体反爬。1.准备url网址:https://www.iesdouyin.com/share/user/884455189612.获取数据分析字体加密方式任务：爬取个人信息展示页中的关注、粉丝人数和点赞数据，页面内容如图下所示。

十一、实战-高速下载全套王者荣耀高清壁纸（4）多线程示例代码：importrequestsfromurllibimportparseimportosfromurllibimportrequestimportthreadingimportqueueheaders={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTM

三十八、实战–目标网站登录页面参数获取登录v2ex网站网址：https://www.v2ex.com/signin示例代码#1、因为用户名和密码和验证码的name都是随机的，所以我们要先获取网页源代码，然后提取出其中的name值。#2、获取到了name和once的值以后，再通过调用https://www,v2ex.com/signin接口，把数据通过post请求发送过去。#3、还需要使用云打码平台

多线程爬虫有些时候，比如下载图片，因为下载图片是一个耗时的操作。如果采用之前那种同步的方式下载。那效率肯会特别慢。这时候我们就可以考虑使用多线程的方式来下载图片。多线程介绍：多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。最简单的比喻多线程就像火车的每一节车厢，而进程则是火车。车厢离开火车是无法跑动的，同理火车也可以有多节车厢。多线

十、实战-高速下载全套王者荣耀高清壁纸（3）续上例，下载第一页壁纸示例代码：importrequestsfromurllibimportparseimportosfromurllibimportrequestheaders={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/

今天早上组长一声不吭的坐在我背后。良久，说了一句话：“爬视频。”“。。。。”我最讨厌的就是爬视频，但我没有说出来。“我们有个主打视频直播的app一月份要上线，现在还没有视频呢”“嗯”“先爬两个网站吧，一个蛙趣，另一个爆米花视频。其中爆米花视频难度很大，源代码中没有视频地址，后台抓包也没有。我建议你们去研究下谷歌的flashdownloader的代码，看下它是怎么运作的。”“蛙趣也一样么？”“蛙趣的

十九、selenium的行为链有时候在页面中的操作可能要有很多步，那么这时候可以使用鼠标行为链类selenium.webdriver.common.action_chains.ActionChains来完成。比如现在要将鼠标移动到某个元素上并执行点击事件。那么示例代码如下：inputTag=driver.find_element_by_id(‘kw’)submitTag=driver.find_e

三十四、实战–JS解密实战项目（2）查看网页源代码，查找js文件中包含smartresult的文件，复制下来用js美化与sublinetext来分析解密。分析js代码vargenerateSaltSign=function(e){vart=n.md5(navigator.appVersion),r=""+(newDate).getTime(),i=r+parseInt(10*Math.random

有些时候，比如下载图片，因为下载图片是一个耗时的操作。如果采用之前那种同步的方式下载。那效率肯会特别慢。这时候我们就可以考虑使用多线程的方式来下载图片。多线程介绍：多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。最简单的比喻多线程就像火车的每一节车厢，而进程则是火车。车厢离开火车是无法跑动的，同理火车也可以有多节车厢。多线程的出现就

三十三、实战–JS解密实战项目（1）解密有道翻译，示例代码importrequestsdefmain():url="http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"headers={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36

十二、实战-高速下载全套王者荣耀高清壁纸（5）续上，多线程，下载成功示例代码importrequestsfromurllibimportparseimportosfromurllibimportrequestimportthreadingimportqueueheaders={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.

三十一、selenium实战–确认乘客和席位续上例，示例代码fromseleniumimportwebdriverfromselenium.webdriver.support.uiimportWebDriverWaitfromselenium.webdriver.supportimportexpected_conditionsasECfromselenium.webdriver.common.by

十八、selenium表单元素操作Selenium的基本使用–操作表单元素1、操作输入框：分为两步。第一步：找到这个元素。第二步：使用send_key(value)，将数据填充进去。示例代码如下：inputTag=driver.find_element_by_id(‘kw’)inputTag.send_key(‘python’)2、操作checkbox：因为要选中checkbox标签，在网页中是通

爬虫利器初体验（1）听说你的爬虫又被封了？（2）爬取数据不保存，就是耍流氓（3）爬取两万多租房数据，告诉你广州房租现状（4）scrapy也能爬取妹子图？（5）scrapy遇上ajax，抓取QQ音乐周杰伦专辑与歌词（6）目录前言SpiderMiddleware瞎比比前言上一篇文章《爬虫利器初体验（1）》中，我们举了个简单的栗子，但是在真实的开发中这样的爬虫代码很容易就会被封掉。那么怎么样才能避免这些

三十、selenium实战–解析列车信息（2）续上例，示例代码fromseleniumimportwebdriverfromselenium.webdriver.support.uiimportWebDriverWaitfromselenium.webdriver.supportimportexpected_conditionsasECfromselenium.webdriver.common.b

二十九、selenium实战–解析列车信息（1）续上例，示例代码fromseleniumimportwebdriverfromselenium.webdriver.support.uiimportWebDriverWaitfromselenium.webdriver.supportimportexpected_conditionsasECfromselenium.webdriver.common.

圣诞节到了，这不，我来送"礼物"了，X江酒店登录页面的参数加密破解。地址如下：aHR0cHM6Ly9ob3RlbC5iZXN0d2Vob3RlbC5jb20vTmV3TG9naW4v浏览器输入上方解密后的地址，F12打开浏览器开发者工具，随意输入一个账号和密码。这里密码输入我一般用的123456，抓包之后如下图：有两个加密的参数black_box和password.这里提供两种定位加密代码的方法：

往期推荐：数据库系列：Python数据库骚操作--MongoDBPython数据库骚操作--RedisPython数据库骚操作--MySQLscrapy系列：scrapy爬虫初体验(1)scrapy爬虫进阶解析

十七、selenium定位元素Selenium的基本使用–定位元素1、find_element_by_id:根据id来查找某个元素。2、find_element_by_class_name:根据类名查找元素。3、find_element_by_name:根据name属性的值来查找元素。4、find_element_by_tag_name:根据标签名来查找元素。5、find_element_by_x

十六、selenium和chromedriver基本使用Selenium+chromedrive介绍Selenium相当于是一个机器人。可以模拟人类在浏览器上的一些行为，自动处理浏览器商店一些行为，比如点击，填充数据，删除cookie等。Chromedriver是一个驱动chrome浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的d

什么是Ajax：Ajax（AsynchronouseJavaScriptAndXML）异步JavaScript和XML。过在后台与服务器进行少量数据交换，Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面。因为传统的在传输数据格式方面，使用的是XML语法。因此叫做AJAX，其实现在数据

十三、GIL和Lock的关系（上）多线程的GIL锁Python自带的解释器是Cpython。CPython解释器的多线程实际上是一个假的多线程（在多核CPU中，只能利用一核，不能利用多核）。同一时刻只有一个线程在执行，为了保证同一时刻只有一个线程在执行，在CPython解释器中有一个东西叫做GIL（GlobalInterpreterLock），叫做全局解释器锁。这个解释器锁是有必要的。因为CPyt

前言  Scrapy抓取慕课网免费以及实战课程信息，相关环境列举如下：scrapyv1.5.1redispsycopg2(操作并保存数据到PostgreSQL)数据表  完整的爬虫流程大致是这样的：分析页面结构->确定提取信息->设计相应表结构->编写爬虫脚本->数据保存入库；入库可以选择mongo这样的文档数据库，也可以选择mysql这样的关系型数据库。废话不多讲，这里暂且跳过页面分析，现给出如

编译环境：pythonv3.5.0,macosx10.11.4python爬虫基础知识:Python爬虫学习－基础爬取python爬虫进阶知识:Python爬虫学习－爬取大规模数据python爬虫信息处理

目录清单1、selenium和phantomjs概述2、selenium常用API/3、案例操作：模拟登陆csdn课程内容1.selenium和phantomJS是什么东西selenium是一套web网站自动化测试工具，主要通过命令行的操作完成常规可视化界面下的用户各种操作行为，因为其简单易学成本低，并且执行测试效率较高而在web自动化测试方面比较突出，该库可以直接运行操作各种主流浏览器，辅助浏览

编译环境：pythonv3.5.0,macosx10.11.4python爬虫基础知识:Python爬虫学习－基础爬取python爬虫进阶知识:Python爬虫学习－爬取大规模数据若未进行数据爬取可以使用此数据进行练习

上一篇写了一个简单的新浪新闻爬虫作为上手主要是用jsoup包来对url页面进行抓取到本地，并在本地进行数据的解析提取。这里就不重复叙述jsoup的用法了，百度一下基本一大片。看了网上大神们都有对知乎进行爬取，今天我也拿它来试试手。写这篇文章的目的主要是想将自己在爬取中遇到的一些坑，以及怎么解决的做一下记录。也算是一次加深理解的过程。爬取的目标页面2017-12-31_172919.png目标是爬取

1.自定义数据请求方式handler=urllib2.HTTP/HTTPSHandler()opener=urllib2.build_handler(handler)opener.open(request)代码操作：#-*-coding:utf-8-*-importurllib2importurllib'''request=urllib2.Request("http://www.baidu.com

目录：Python网络爬虫（一）-入门基础Python网络爬虫（二）-urllib爬虫案例Python网络爬虫（三）-爬虫进阶Python网络爬虫（四）-XPathPython网络爬虫（五）-Requests

一、分析URL接口正如上一篇：《Python爬虫进阶——Get请求》讲到的：当我们进行爬虫开发的时候，首先要做的，就是分析URL接口。

在上一篇中，我们是通过urllib.request.urlopen直接访问的网页地址，但在实际应用中，我们更多地使用urllib.request.Request对象，因为其可以封装headers和data。一、Request类的参数classRequest:def__init__(self,url,data=None,headers={},origin_req_host=None,unverifi

很多时候呢，我们都是读取本地HTML文件来进行爬虫练手，但每次都要手打不同的HTML明显耗时耗力；还有些小伙伴不喜欢F12，偏偏喜欢在Pycharm中查看HTML的源代码；……难道每次都只能“复制——新建——粘贴——保存”一条龙服务吗？不不不，我们还有Python的第三方库——urllib。urllib模块是模拟浏览器去访问URL地址，然后拿到服务器响应回来的数据，也就是整个HTML文件。代码如下

如果一个网站采用前端渲染，那么这个网站的前端会访问后端的一些接口，然后拿到后端向前端返回的数据（一般都是Json类型，Json对象的本质其实是一个bytes字节流，但我们可以通过转码的方式，把它转成str），再把Json数据交给JS，JS对其进行解析，最终渲染页面。这就是前端渲染的一个流程。很多商城网站都会这样做，因为可以减缓服务器的压力。那对于我们爬虫开发来说，如果我们拿到了后端向前端返回的JS

明确爬取的网站http://web.jobbole.com/all-posts/选择伯乐在线网站，爬取网站中的所有文章。安装scrapy进入基础篇安装的环境：workonpy3scrapypipinstall-ihttps://pypi.douban.com/simple/scrapy提示，twisted无法安装。进入python非官方库：https://www.lfd.uci.edu/~gohl

目录一.HTTP基本原理(一)URI和URL(二)超文本(三)HTTP和HTTPS(四)HTTP请求过程(五)请求1.请求方法2.请求的网址3.请求头4.请求体(六)响应1.响应状态码2.响应头3.响应体二.爬虫的基本原理(一)获取网页技术(二)提取信息(三)保存数据(四)能爬的数据(五)JavaScript动态渲染页面的数据三.会话和Cookies(一)无状态HTTP(二).会话(三).Cook

前言文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：煌金的咸鱼PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取python免费学习资料以及群交流解答点击即可加入这次来分析某个小说网站分析请求先来看看页面的请求经过查看请求，并没有请求的加密参数，但是响应的内容却不正常，许多文字在响应中都变成了span标签这

阻碍我们爬虫的有时候正是在登录或者请求一些数据时候的图形验证码，因此这里我们讲解一种能将图片翻译成文字的技术。将图片翻译成文字一般被成为光学文字识别（OpticalCharacterRecognition），简写为OCR。实现OCR的库不是很多，特别是开源的。因为这块存在一定的技术壁垒（需要大量的数据、算法、机器学习、深度学习知识等），并且如果做好了具有很高的商业价值。因此开源的比较少。这里介绍一

1.pyspider的介绍；2.爬虫架构的典型设计；3.垂直搜索引擎的初探。PySpider之前的爬虫策略很简单，用得python2.7：urllib2+BeautifulSoup。这种方式小巧方便，但是面对大规模的爬取需求时就变得冗余麻烦，需要有一个爬虫框架，能够分布式运行，队列控制。可以简单的认为目前的需求就是一个垂直领域的爬虫框架，对数量可观的网站中的某些确定页面进行周期性的爬取，需要爬取策

文章出处https://www.cnblogs.com/wupeiqi/articles/6229292.html性能相关在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。importrequestsdeffetch_async(url):response=requests.get(url)returnresponseurl_list=

SCRAPY知识点一、scrapy框架的组成部分1.引擎engine：其他组件的通信桥梁，类似于Controller2.爬虫spider：爬虫程序的开始位置且数据解析也在此。3.调度器scheduler：所有下载任务Request都会被接收，4.下载器Download：从引擎获取请求对象，请求数据下载。5.数据管道Pipeline：负责解析数据之后处理，如保存到mysql等[外链图片转存失败(im

通过输入错误密码抓包查看加密字段。【图1-1】Python资源共享群：626017123直接通过检索pwd:定位加密位置【图1-2】。根据检索结果给对应的位置打上断点【图1-3】，并把划线的代码复制出来备用。重新发起请求，发现这些参数大概是下面这样的：//that.password.val()输入的密码：11111111111//encryptedString是加密方法encryptedStrin

一、背景之前爬虫使用的是requests+多线程/多进程，后来随着前几天的深入了解，才发现，对于爬虫来说，真正的瓶颈并不是CPU的处理速度，而是对于网页抓取时候的往返时间，因为如果采用requests+多线程/多进程，他本身是阻塞式的编程，所以时间都花费在了等待网页结果的返回和对爬取到的数据的写入上面。而如果采用非阻塞编程，那么就没有这个困扰。这边首先要理解一下阻塞和非阻塞的区别。（1）阻塞调用是