Yhen爬虫笔记

爬虫笔记整理14 - scrapyd分布式爬虫的部署

1.简介scrapyd是运行scrapy爬虫的服务程序，它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫，每个爬虫还可以有多个版本。2.特点1、可以避免爬虫源码被看到。2、有版本控制。3、可以远程启动、停止、删除使用版本：scrapyd：1.2.0scrapy：1.5.03.安装（1）pippipinstallscrapyd可以进行安装注意：卸载某个包
sevieryang·2020-08-22 02:51

淘宝+Selenium

title:淘宝+seleniumcategories:[爬虫笔记,代码]fromseleniumimportwebdriverfromselenium.common.exceptionsimportTimeoutExceptionfromselenium.webdriver.common.byimportByfromselenium.webdriver.support.uiimportWebDr
Xiaoweidumpb·2020-08-21 21:32

PYTHON 爬虫笔记三:Requests库的基本使用

知识点一：Requests的详解及其基本使用方法什么是requests库Requests库是用Python编写的，基于urllib，采用Apache2Licensed开源协议的HTTP库，相比urllib库，Requests库更加方便，可以节约我们大量的工作，完全满足HTTP测试需求。Requests是用python语言基于urllib编写的，采用的是Apache2Licensed开源协议的HTT
weixin_30248399·2020-08-21 10:26

Python 爬虫笔记（2）

我们如何使用Python而不是浏览器，利用有道翻译，来翻译文本？首先打开有道，右键，点击“检查”,或者“审查元素”，我们可以看到网页的源代码，如图1所示：我们点击network，如图2：找到translate？....如图3，然后点击：然后在点击preview，如图4，我们可以看到我们要翻译的语句，和翻译的结果。我们主要是看Headers，如图5；我们要说明一下Headers的内容：1，Gener
Hearthougan·2020-08-21 02:37

Python网络爬虫笔记（二）——10分钟Python基本语法

前言适用于有其他语言基础的Python初学者。一、字符串相比于C++，java来说，Python是真的智能。让严谨风的我一度不适应……a=1rint('a=',a,'is',type(a))b=1.5print('b=',b,'is',type(b))c='666'print('c=',c,'is',type(c))运行结果：a=1isb=1.5isc=666is这可比auto啥的方便多！1、切片
玄黄问道·2020-08-19 22:26

Python网络爬虫笔记（10）密码管理类 HTTPPasswordMgrWithDefaultRealm

HTTPPasswordMgrWithDefaultRealm()类将创建一个密码管理对象，用来保存HTTP请求相关的用户名和密码，主要应用两个场景：验证代理授权的用户名和密码(ProxyBasicAuthHandler())验证Web客户端的的用户名和密码(HTTPBasicAuthHandler())ProxyBasicAuthHandler(代理授权验证)如果我们使用之前的代码来使用私密代理
洪流之源·2020-08-19 20:04

python3.x爬虫学习：股票数据定向爬虫笔记

importrequestsfrombs4importBeautifulSoupimporttracebackimportredefgetHTMLtext(url,code="utf-8"):try:r=requests.get(url)r.raise_for_status()r.encoding=codeprint("test")returnr.textexcept:return""defget
路ren甲·2020-08-19 18:37

爬虫笔记（1）：网络爬虫实现原理与实现技术

网络爬虫实现原理详解通用网络爬虫：获取初始的URL；根据初始的URL爬取页面并获得新的URL；将新的URL放到URL队列中；从URL队列中读取新的URL，并根据新的URL爬去网页，同时从新网页中获取新URL，重复上述过程；满足设置的停止条件时停止爬取。聚焦网络爬虫：见#395爬行策略深度优先爬行策略、广度优先爬行策略、大站优先策略、反链策略、其他网页更新策略网站更新后需要重新爬取，网站更新的频率与
WeirdoSu·2020-08-19 07:13

爬虫笔记(十三)——lxml库的使用

HTML示例代码：text='''firstitemseconditemthirditemfourthitemfifthitem'''在XPath语境中，XML文档被视作节点树，节点树的根节点也被称作文档节点。XPath将节点树中的节点（Node）分为七类：元素（Element），属性（Attribute），文本（Text），命名空间（Namespace），处理指令（Processing-inst
weixin_34021089·2020-08-19 05:10

爬虫笔记：通过使用代理池来解决部分反爬虫问题的方法

对《Python3网络爬虫开发实战》部分内容的总结。本文目录1.所遇到的问题2.代理池的下载2.1github：[link]（https://github.com/germey/proxypool）2.2配置代理池2.3安装依赖2.4打开代理池和API2.5运行成功之后会出现如下2.6该代理池的大概的运行原理如下（图片源于崔庆才爬虫课程的截图）2.7获取代理利用请求获取方法如下（参考上文安装代理池
Ryan Fu·2020-08-18 23:23

Python爬虫笔记——python3.7安装Scrapy

python3.7安装Scrapy----2019史上最牛逼的scrapy的安装教程Scrapy入门教程Scrapy入门教程简单易懂版
Fo*(Bi)·2020-08-18 11:45

爬虫笔记（十二）——浏览器伪装技术

为什么要进行浏览器伪装技术？有一些网站为了避免爬虫的恶意访问，会设置一些反爬虫机制，对方服务器会对爬虫进行屏蔽。常见的饭爬虫机制主要有下面几个：1.通过分析用户请求的Headers信息进行反爬虫2.通过检测用户行为进行反爬虫，比如通过判断同一个IP在短时间内是否频繁访问对应网站等进行分析3.通过动态页面增加爬虫的爬取难度，达到反爬虫的目的第一种反爬虫机制在目前网站中应用的最多，大部分反爬虫网站会对
weixin_33809981·2020-08-17 19:34

爬虫笔记5 向动态HTML迈进，selenium入门，获取响应后的element代码以及网页COOKIE

1.加载网页代码fromseleniumimportwebdriver使用游览器(支撑绝大多数游览器)driver=webdriver.PhantomJS()游览器进行游览driver.get(“http://www.baidu.com”)由于PhantomJS无界面，可以使用下面代码保存界面driver.save_screenshot(“百度.png”)2.定位和操作支持所有element的搜寻
mahuatengmmp·2020-08-17 13:40

爬虫笔记4 程序多线程threading与Queue结合使用，Queue用法详细解读

1.Queue的用法通常配合threading使用，创建一个队列，多个线程可以从队列中提取任务，返回输入任务那么具体是怎么配送threading模块使用的呢？举个例子，比如你要下载一个文件，可是你发现对方给你限制了你的下载速度，每个文件只准10kb的下载，这时候你可以将下载文件所有的请求丢到一个队列里面Queue.put()(假设1000个请求)，这个队列就是Queue，然后你设置100个线程，每
mahuatengmmp·2020-08-17 13:39

爬虫笔记3 XPATH LXML寻找XML,HTML

掌握re库(正则表达式)的用法re.findall("a(.*?)b",”str“)能够返回括号中的内容，括号前后的内容起到定位和过滤的效果原始字符串r,使用r可以忽视反斜杠带来的转义的效果.默认匹配不到\n\s能够匹配空白字符，不仅仅包含空格，还有\t\r\n万能的.*?用法XPATHXpath是一门在HTML\XML文档中查找信息的语音，可以用来在HTML\XML文档中对元素属性进行遍历W3S
mahuatengmmp·2020-08-17 13:39

【python微博爬虫+定时发送邮件操作②】不会吧不会吧！不会2020了还有人需要用软件看微博热搜吧？

大噶好，我是python练习时长3个月的Yhen。在上篇文章中，我已经详细介绍了第一步——微博爬虫传送门：【python热搜爬虫+定时发送邮件操作①】不会吧不会吧！
@Yhen·2020-08-17 05:47

【python热搜爬虫+定时发送邮件操作①】不会吧不会吧！不会2020了还有人需要用软件看微博热搜吧？

【写在前面】大噶好，我是python练习时长3个月的Yhen，好久久久久…不见啦，已经有一个多月没有写博客啦哈哈哈，不知道手有没生生疏了哈哈哈。
@Yhen·2020-08-17 05:46

python3爬虫笔记(一)：了解HTTP协议

HTTP协议：HyperTextTransferProtocol1.概念HTTP(超文本传输协议)是互联网上应用最为广泛的一种网络协议，是TCP/IP协议的一种。我们在浏览器的地址栏输入地址浏览网页时都遵循这一协议，它有两个功能：规范了客户端如何构造并发送请求规范了服务器如何响应请求。2.B/S，C/S架构通过浏览器(Browser)访问服务器的架构称为B/S架构，通过客户端(Client)访问服
连小胖·2020-08-15 12:49

Python网络爬虫笔记（7）处理HTTPS请求 SSL证书验证

现在随处可见https开头的网站，urllib2可以为HTTPS请求验证SSL证书，就像web浏览器一样，如果网站的SSL证书是经过CA认证的，则能够正常访问，如：https://www.baidu.com/等...如果SSL证书验证不通过，或者操作系统不信任服务器的安全证书，比如浏览器在访问12306网站如：https://www.12306.cn/mormhweb/的时候，会警告用户证书不受信
洪流之源·2020-08-15 08:18

爬虫笔记：爬豆瓣AttributeError: 'NoneType' object has no attribute 'find_all'

代码importrequestsfrombs4importBeautifulSoup#请求网页url="https://movie.douban.com/cinema/later/zhongshan/"response=requests.get(url)#解析网页#初始化BeautifulSoup方法：利用网页字符串自带的编码信息解析网页soup=BeautifulSoup(response.co
夜殤·2020-08-14 21:05

千峰Python爬虫笔记day02

1、post请求举例，百度翻译【注】表单的处理form_data=urllib.parse.urlencode(form_data).encode()importurllib.requestimporturllib.parsepost_url='http://fanyi.baidu.com/sug/'word=input('输入要查的词')form_data={'kw':word,}#构造表单数据
月光白魔鬼·2020-08-14 18:08

北京理工大学MOOC爬虫笔记二（第2周）

目录一、BeautifulSoup库二、信息标记与提取方法三、实例（静态获取）一、BeautifulSoup库（1）BeautifulSoup库：解析、遍历、维护“标签树”的功能库（2）使用BeautifulSoup库：frombs4importBeautifulSoupsoup=BeautifulSoup(’data,‘html.parser’)（3）BeautifulSoup对应一个HTML/
xixiaodou·2020-08-12 14:25

Python爬虫笔记 | 初识爬虫技术

使用python版本：3.7.064-bit爬虫，从本质上来说，就是利用程序在网上拿到对我们有价值的数据。爬虫的工作原理四步骤第1步：获取数据。爬虫程序会根据我们提供的网址，向服务器发起请求，然后返回数据。第2步：解析数据。爬虫程序会把服务器返回的数据解析成我们能读懂的格式。第3步：提取数据。爬虫程序再从中提取出我们需要的数据。第4步：储存数据。爬虫程序把这些有用的数据保存起来，便于你日后的使用和
MUYUN友逹·2020-08-12 10:07

Scrapy爬虫笔记(scrapy、scrapy-redis、scrapyd部署scrapy)

Scrapy爬虫笔记写在最前面scrapy安装创建项目与运行爬虫生成爬虫scrapy框架目录结构settings.py常用设置CrawlSpiderScrapyShellRequest对象和Response
曾小杰gg·2020-08-11 10:04

【Python网络爬虫笔记】week02

BeautifulSoup库入门安装在cmd中输入pipinstallbeautifulsoup4BeautifulSoup库的使用frombs4importBeautifulSoupsoup=BeauifulSoup('data','html.parser')BeautifulSoup库的基本元素BeautifulSoup库是解析、遍历、维护“标签树”的功能库BeautifulSoup库，也叫b
Brielle_Zhang·2020-08-11 05:37

python爬虫笔记

python笔记2020.1编程工具pycharm2019.3.1关于使用pycharm进行交互调试开启debugger提示“Processfinishedwithexitcode-1”无法进行交互式调试**解决方法:**确保下图中的功能启动requests.get数据无法解析问题r=requests.get(url).contentsoup=BeautifulSoup(r,'html.parse
dumbnessrf·2020-08-10 04:25

Scrapy豆瓣爬虫 爬取用户以及用户关注关系

utf8与utf8mb4字符编码笔记二：mysql中的排序规则2.PyCharm搭建Scrapy爬虫项目2.1创建一个Scrapy工程笔记三：scrapy基本命令创建项目运行项目开始爬虫控制台暂停和终止爬虫笔记四
Joyceyang_999·2020-08-09 06:28

python 爬虫笔记

urllib模块的使用urllib是python内置的HTTP请求库，无需安装即可使用，它包含了4个模块：request：它是最基本的http请求模块，用来模拟浏览器发送请求parse：一个工具模块，提供了许多URL处理方法，如：把URL字符串与URL组件的拆分和合并，或者字典（和js对象差不多）与URL字符串的相互转换error：异常处理模块，如果请求发生错误可以捕捉致谢异常robotparse
z_z_tao·2020-08-04 22:46

用Python将多个相同性质Excel工作表整合到一个工作表(.xlsx)中实例

基础知识：Python爬虫笔记——存储数据的基础知识(Csv、Excel)项目已经拥有100个如下表格：每个表中的内容如下：【Target】：将这100个表格整合到一个汇总表中去。
Fo*(Bi)·2020-08-04 21:39

Python爬虫笔记

PythonIDE1Eclipse+PyDev:扩展PyDev插件installnewsoftware-->add-->name:PydevLocation:http://pydev.org/updates配置插件后需要pydev解析器：windows-->preferences-->点击pydev-->interpreter-Python-->new-->python.exe（python安装目
charilyLL·2020-08-02 13:24

python网络爬虫（第一章）

python网络爬虫（第一章）（内容来自于O’Reilly(人民邮电出版社)的《Python网络爬虫权威指南》此博客仅用于记录学习，方便以后使用）目前本系列文章（python网络爬虫笔记）更新情况：第一章
ZzMeei·2020-08-01 14:12

python网络爬虫（简单实例）

python网络爬虫（简单实例）（内容来自于O’Reilly(人民邮电出版社)的《Python网络爬虫权威指南》此博客仅用于记录学习，方便以后使用）目前本系列文章（python网络爬虫笔记）更新情况：第一章
ZzMeei·2020-08-01 14:12

python网络爬虫（第二章）

python网络爬虫（第二章）（内容来自于O’Reilly(人民邮电出版社)的《Python网络爬虫权威指南》此博客仅用于记录学习，方便以后使用）目前本系列文章（python网络爬虫笔记）更新情况：第一章
ZzMeei·2020-08-01 14:12

python 爬虫笔记--简单静态

不太懂网页上的专业术语。。。1.首先查看页面源代码：查看要爬取的数据是什么样的，在哪个标签下，能不能用xpath或者bs4取出来。2.f12此页面，刷新查看页面响应时，能看到的信息。主要是消息头里的请求网址，请求方法，host,user-agent,cookie以及参数里的数据。及时查看响应，看出现的页面是否为自己想要的。3.如果是post方法：要记录参数里的数据：postdata={}，字典型写
fuyunkaka·2020-07-31 17:58

爬虫笔记（二）——浏览器的模拟（Headers属性）

有的时候，我们无法爬取一些网页，会出现403错误，因为这些网页为了防止别人恶意采集其信息所以进行了一些反爬虫的设置。那么如果我们向爬取这些网页的信息，应该怎么办呢？可以设置一些Headers信息，模拟成浏览器去访问这些网站，此时，就能够解决这个问题了。接下来我们来找找自己浏览器的Headers属性。1.首先打开任意网页，按下F12，并选择网络（network）2.任意点击网页连接，使其发生动作。点
龙王.*?·2020-07-30 18:43

python | 爬虫笔记（三）- 基本库使用

本节内容为基础库的使用，内容涵盖：Urllib库基本使用，Requests库基本使用以及正则表达式基础。3.1Urllib内置http请求库request请求模块，error异常处理模块，parse工具模块，robotparser识别网站robots.txt，识别哪些可以爬3.1.1发送请求1-urlopenurllib.request模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器
weixin_30333885·2020-07-30 12:44

PYTHON 爬虫笔记六:PyQuery库基础用法

知识点一：PyQuery库详解及其基本使用初始化字符串初始化html='''firstitemseconditemthirditemfourthitemfifthitem'''frompyqueryimportPyQueryaspqdoc=pq(html)print(doc('li'))#选择器实际上就是CSS选择器，即：选id就加“#”，选class前面加“.”firstitemsecondit
weixin_30585437·2020-07-28 16:23

爬虫笔记——东方财富科创板数据爬取（selenium方法）

爬虫笔记——东方财富科创板数据爬取（selenium方法）网站观察网站分析公司详情页面具体代码selenium方式爬取优点：无需观察网站去查找数据来源缺点：速度较requests方法更慢网站观察网址：东方财富科创板数据
wang_zuel·2020-07-28 15:54

爬虫笔记（六）--反爬处理

身份伪装告诉服务器是人(浏览器)User-Agent:声明身份人的特点，从哪来Request-HeadersRefer身份证（cookies）用户信息，网站信息加UA，refer，cookies访问频率，访问数量–>拉黑开小号添加headersimportrequestsurl="http://www.httpbin.org/headers"res=requests.get(url).textpr
jys0703·2020-07-28 01:20

Python爬虫笔记——Ajax简介

有时候我们在用requests抓取页面的时候，得到的结果可能和在浏览器中看到的不一样，在浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果并没有。这是因为requests获取的都是原始的HTML文档，而浏览器中的页面则是经过JavaScript处理数据后生成的结果，这些数据的来源有多种，可能是通过ajax加载的，可能是包含在HTML文档中的，也可能是经过JavaScript和特
Fo*(Bi)·2020-07-22 08:59

爬虫笔记七

Scrapy中文手册：https://docs.pythontab.com/scrapy/scrapy0.24/index.htmlScrapy的项目结构Scrapy框架的工作流程ScrapyShellItemPipelineScrapy项目的Spider类Scrapy项目的CrawlSpider类Scrapy项目的Request和ReponseDownloaderMiddlewaresSetti
dianxin1203·2020-07-15 22:30

爬虫笔记六

机器视觉与Tesseract介绍机器视觉从Google的无人驾驶汽车到可以识别假钞的自动售卖机，机器视觉一直都是一个应用广泛且具有深远的影响和雄伟的愿景的领域。我们将重点介绍机器视觉的一个分支：文字识别，介绍如何用一些Python库来识别和使用在线图片中的文字。我们可以很轻松的阅读图片里的文字，但是机器阅读这些图片就会非常困难，利用这种人类用户可以正常读取但是大多数机器人都没法读取的图片，验证码(
dianxin1203·2020-07-15 22:30

Python操作数据库、Python爬虫笔记

PYTHONimportMySQLdbDATABASE={'host':'127.0.0.1','database':'test','user':'root','password':'zs@309337','charset':'utf8mb4'}db=MySQLdb.connect(**DATABASE)db游标cursor=db.cursor()sql="select*fromclass"cur
Zs0ng·2020-07-15 09:33

Linkedin 数据爬虫笔记

分析searchtotal本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗Ctrl+B斜体Ctrl+I引用Ctrl+Q插入链接Ctrl+L插入代码Ctrl+K插入图片Ctrl+G提升标
JackinJoye·2020-07-14 04:15

python爬虫和动态切换ip地址(供初学者学习使用)

开始之前:参考网址:从list中随机抽取元素的方法分享几个免费IP地址查询API接口python操作数据库,python爬虫笔记importtimeimportrequestsfromrandomimportchoice
Zs0ng·2020-07-14 03:26

网络爬虫笔记【7】 利用 XPATH 实现 XML 和 HTML 文本信息提取

XML（ExtensibleMarkupLanguage）指可扩展标记语言,被设计用来传输和存储数据。详细信息可参考http://www.w3school.com.cn/xml。HTML指的是超文本标记语言(HyperTextMarkupLanguage),是WWW上用于编写网页的主要工具，详细信息请参考http://www.w3school.com.cn/htmlXML和HTML都是一种标记语言
机灵鹤·2020-07-13 21:29

爬虫笔记（六）——如何写正则表达式详解

什么是正则表达式？正则表达式(RegularExpression)是一种文本模式，在编写处理字符串的程序或网页时，经常会有查找符合某些规则的字符串的需求。正则表达式就是用于描述这些规则的工具，换句话说，正则表达式就是记录文本规则的代码。我们将分别从原子、元子符、模式修正符、贪婪模式与懒惰模式等方面进行介绍，代码引进re模块。这篇博客主要讲如何写正则表达式，下篇再介绍关于正则表达式的函数运用。一、原
weixin_34112181·2020-07-13 18:18

爬虫笔记——拉勾网职位信息爬取（selenium方法）

拉勾网爬虫笔记——selenium爬取拉勾网职位信息初步爬虫框架构造第一页职位信息爬取第二页等页面的职位信息爬取爬取数据的保存细节处理爬取过程中出现需要登录的处理爬取过程中网页崩溃的处理文中内容为网上找的视频课程的练习
wang_zuel·2020-07-13 16:32

爬虫笔记

urlopen(url,data,timeout)第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间importurllib2response=urllib2.urlopen("http://www.baidu.com")printresponse.read()推荐写法(因为在构造请求时还需要加入好多内容，通过构建一个request，服务器
神毓叉烧包·2020-07-13 11:30

抓取王者荣耀英雄列表的爬虫笔记(python+requests)

在开始这个内容之前，我们先来一张效果图：实现它，需要几个过程：调用王者荣耀助手的数据接口获取所有英雄的图片通过迭代，把所有图片转换成二进制数据流把这些数据导入MySQL数据库中由于项目需求,需要爬取某网站数据并储存在mysql中,但这几天遇到了一些问题,不得不暂停来补一补数据抓取的相关知识,于是今天花了半天时间来补习json.我以下写的内容是居然老师教我的,我经过整理,写在这里,给大家一起学习.手
Mr.郑先生_·2020-07-12 19:46
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他