python--爬虫学习

Python分布式爬虫学习（一）

因为参加项目完成一个分布式爬虫系统，又捡起了之前学习了一点的python。因为对之前并没有接触过爬虫系统，所以借鉴了http://cuiqingcai.com/1052.html崔庆才老师的博客。这几篇博客用来记录自己在开发中遇到的问题。开发环境Python的版本是3.5.2编辑器：Pycharm2016代码：importurllib.requestresponse=urllib.request.
a_Gainer·2020-07-15 19:46

python2.7爬虫学习笔记（一）---Urllib库的使用

扒一个网页：importurllib2response=urllib2.urlopen("http://www.baidu.com")printresponse.read()第一行：调用了urllib2库里边的urlopen方法，传入一个url，这个方法一般接收三个参数，如下：urlopen(url,data,timeout)第一个不用解释，data是访问url时要传送的数据，timeout是设置
SirM2z·2020-07-15 18:08

爬虫学习打卡1——urllib库和requests库

写在前面的话：每一个实例的代码都会附上相应的代码片或者图片，保证代码完整展示在博客中。最重要的是保证例程的完整性！！！方便自己也方便他人~欢迎大家交流讨论~urllib库使用urllib构建一个请求和响应模型post数据传送方式Get方式传送数据requests库环境：Anaconda3（python3.5）urllib库使用urllib构建一个请求和响应模型importurllibstrUrl=
Leo_Huang720·2020-07-15 18:28

Python--动态为类增加属性的几种方式总结

前言:Python是一门动态强类型语言，想要实现为类增添属性有好几种方式，本篇博客就此做一个简单的总结。在总结之前，让我们先来看看python的反射反射概述：运行时，区别于编译时，指的是程序被加载到内存中执行的时候。反射，reflection，指的是运行时获取类型定义信息。一个对象能够在运行时，像照镜子一样，反射出其类型信息。简单说，在Python中，能够通过一个对象，找出其type、class、
FatTigerx·2020-07-15 17:09

python--基础知识点--垃圾回收机制

基于C预言家源码底层，让你真正了解垃圾回收机制的实现。引用计数器标记清除分代回收缓存机制Python的C源码（3.8.2版本）1.引用计数器1.1环状双向链表refchain在python程序中创建的任何对象都会放在refchain链表中。name="武沛齐"age=18hobby=["篮球","美女"]内部会创建一些数据[上一个对象、下一个对象、类型、引用个数、val="武沛齐"]name="武
Chasing__Dreams·2020-07-15 17:04

python--基础知识点--gc模块

gc模块提供一个接口给开发者设置垃圾回收的选项，它的一个主要功能就是解决循环引用的问题。常用函数：1、gc.set_debug(flags)设置gc的debug日志，一般设置为gc.DEBUG_LEAK2、gc.collect([generation])显式进行垃圾回收，可以输入参数，0代表只检查0代的对象，1代表检查0、1代的对象，2代表检查0、1、2代的对象，如果不传参数，执行一个fullco
Chasing__Dreams·2020-07-15 17:33

python--基础知识点--弱引用

1.概念弱引用：不会增加对象的引用数量，不会妨碍所指对象（referent）被当作垃圾回收。弱引用可用于解决循环引用的问题。弱引用在缓存应用中很有用，因为不想仅仅因为对象被缓存引用着而始终被保持。2.弱引用的创建2.1创建弱引用通过调用weakref模块的ref(obj[,callback])来创建一个弱引用，obj是你想弱引用的对象，callback是一个可选的函数，当因没有引用导致Python
Chasing__Dreams·2020-07-15 17:33

python--基础知识点--__get__、__set__、__delete__和描述符

一、属性查找策略1.python属性属性：python中，对象的方法也可以认为是属性，所以下面所说的属性包含方法在内。使用dir()列出对象所有有效属性。属性分类：属性可以分为两类，一类是Python自动产生的，如__class__，__hash__等，另一类是我们自定义的。我们只关心自定义属性。类和实例对象(实际上，Python中一切都是对象，类是type的实例)都有__dict__属性，里面存
Chasing__Dreams·2020-07-15 17:01

python网络爬虫学习日记-----urllib中urlopen()的使用

urllib的四个模块request:基本的Http请求模块error:异常模块parse:工具模块，url处理方法robotparser:识别网上的robots.tst文件，判断网站是否可爬发送请求urlopen()先使用urlopen()进行最基本的页面抓取importurllib.requestresponse=urllib.request.urlopen(‘https://www.pyth
疯中追風·2020-07-15 16:01

Python--可变与不可变数据类型

Python可变与不可变类型可变数据类型有：list和dict不可变数据类型有：int,float,string和tupe对于不可变数据类型：不允许值发生变化，如果改变了变量的值，必然会创建新的对象（小整数和string类型不适用），对于值相同的变量指向的内存地址是同一个（对于string类型和256范围内的int类型是这样，但对于大整数，float型和元组不是这样）。相同值的string类型指向
FLPython·2020-07-15 16:31

Python程序设计学习笔记1--基本语法元素

Python--基本语法元素基本语法元素程序的格式框架缩进注释命名与保留字变量命名保留字数据类型字符串字符串的序号字符串的使用数字类型列表类型语句与函数赋值语句分支语句函数输入函数input()输出函数
zt_mx_better·2020-07-15 15:25

python--爬虫--积累--多图片网站抓取加速方案和调优记录

最近在处理多图片数据网站的抓取案例。对抓取的速度有一定的要求。短时间内需要获取大量的图片。在部署分布式抓取时有很多个因素是需要调优的。1、每次读取数据库mongodb需要处理的记录的条数2、协程的pool大小。同时处理的个数。3、代理ip如何使用4、代理可使用的请求数–部分代理ip有请求数的限制5、代理ip可用时间（60s）还是几分钟6、对方的封锁机制–同一ip密集访问会有被封锁的风险。需要调试出
张小凡vip·2020-07-15 14:10

python--可变类型数据和不可变类型数据的区别

对于刚开始学习python的，可以不怎么理解的就是可变类型数据和不可变类型数据的本质区别是什么什么是可变类型数据呢：有int，float，string，tuple当然如果我说这些，大家应该也懂，所以我们讲的深一些不可变类型其实就是引用的地址处的值是不能被改变的，比如x=1，那么1所在的那块内存的值只能是1，此时1的引用计数为1，当x是其他对象的引用时，1的引用计数变为0，垃圾回收机制会回收这块内存
HWQlet·2020-07-15 13:11

Python--系统首页登录脚本报错原因分析

1.利用appium+python，执行系统首页自动化登录操作。2.虽然执行结果的确是显示已经登录到系统，但是日志总是提示错误，如下图所以：我想肯定是脚本什么地方有问题，于是粗略分析了一下这段话"selenium.common.exceptions.NoSuchElementException:Message:nosuchelement"这句话的意思是：当前页面没有这样的元素存在。百思不得其解的是
WYH0804·2020-07-15 13:44

爬虫学习记录1-基本知识，简单进行网页抓取

由于抓取数据需要，开始接触Python爬虫，这两天也观看了网络上的一些教程，爬虫门槛较低，入手较快。Python爬虫主要用到urllib这个包，获取网站信息。urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)url一定要输入，其余会自动默认。下面
小霸王zzy·2020-07-15 09:41

20170523作业001--python爬虫学习

爬取糗事百科信息，包括：作者，性别，年龄，段子内容，好笑数，评论数。使用的工具：1.win102.pycharm3.python3.5代码如下：importrequestsfrombs4importBeautifulSoupimporttimeimportcsvurl='http://www.qiushibaike.com/text/'#获取网页defget_html(url):html=requ
等风的猴子·2020-07-15 07:02

爬虫学习笔记（三）

安装selenium在下载前先要确定自己的chrome的版本号，在浏览器的帮助->关于chrome可以看到。安装chromedriver登录https://sites.google.com/a/chromium.org/chromedriver/downloads可能国内用户无法登陆下载安装然后将.exe文件放到chrome的安装文件中，chrome安装路径我的是：C:\Users\Atticus
Atticus_Johnson·2020-07-15 06:28

Python爬虫学习笔记（八）——智高考数据爬取

介绍智高考是一个高考志愿网站，也是基于Ajax的。高中的时候我在wyz大神的帮忙下，尝试过爬取信息来为填志愿做准备。但是当时没有系统学习过爬虫，几乎都是靠大神带飞，因此今天再次尝试爬取智高考的大学信息。（数据全部基于智高考，侵删）该网站有多种查询模式，我打算爬取的有两种。1.各省份的本科大学2.各学科的本科大学正文各省份的本科大学首先分析Ajax，可以看到URL为：http://www.zhiga
weixin_34303897·2020-07-15 05:38

爬虫学习笔记一

Robots协议是什么？（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（RobotsExclusionProtocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站
Cullenyy·2020-07-15 02:24

Python-- easy_install 的安装

下载安装python安装工具下载地址：http://pypi.python.org/pypi/setuptools可以找到正确的版本进行下载。win732位可以下载setuptools-0.6c11.win32-py2.7.exe。Centos下的安装方法wget-qhttp://peak.telecommunity.com/dist/ez_setup.pypythonez_setup.py注意：
Mondoz·2020-07-15 02:00

机器学习集训营---第三周总结

第三周学习总结，主要内容：pandas数据统计与分析的学习结合selenium编写爬虫学习pandas在机器学习数据预处理与特征处理作业实战分析链家数据本周三晚上去参加了混沌大学的线下活动，史蒂夫霍夫曼亲自来到现场讲了硅谷创业的事情以及他是如何选择公司去投资
孙启超·2020-07-14 23:08

Python网络爬虫学习中的注意事项

一、准备工作URL分析header1、user-agent浏览器的开发者工具中network查询user-agent，获取电脑型号和浏览器型号，主要为了返回电脑可以接收的response。（比如有时候会返回浏览器版本过低等等）2、cookie获取cookie包含了经常浏览的网站，从哪儿链接过来，以及登录的信息等等。pythongrammernotice3、ifname==main:该语句个人理解，
Ray Song·2020-07-14 22:24

python--内置next()函数

我们首先要知道什么是可迭代的对象（可以用for循环的对象）Iterable：一类：list，tuple，dict，set，str二类：generator，包含生成器和带yield的generatoefunction而生成器不但可以作用于for，还可以被next()函数不断调用并返回下一个值，可以被next()函数不断返回下一个值的对象称为迭代器：Iterator生成器都是Iterator对象，但l
我爱我爸妈·2020-07-14 21:46

python --Class的学习-提高代码重用性

最近在进行爬虫学习的总结，发现以前使用函数来将网站数据进行处理，对于不同网站代码重用性太小。改用python的Class来实现之后，代码的重用性提高了很多。
Rambo.John·2020-07-14 19:40

Python网络爬虫学习笔记（五）

微信公众号文章爬取以搜狗的微信搜索平台“http://weixin.sogou.com/”作为爬取入口，可以在搜索栏输入相应关键词来搜索相关微信公众号文章。我们以“机器学习”作为搜索关键词。可以看到搜索后的地址栏中内容为：http://weixin.sogou.com/weixin?query=%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&_sug_type_=&sut
镜镜詅痴·2020-07-14 17:52

爬虫学习

依赖库requestsrequests:自动爬取HTML的页面自动网络请求提交网络怕从排除标准ROBOTS.TXTBbeautifulsoup解析html页面正则表达式库获取需要的页面数据网络爬虫框架Scrapy*python开发工具选择-IDE选择常用的pythonIDE工具文本工具IDEIDLE**学习建议，python自带Notepad++SublimeText**学习建议，编程体验比较好；
qq_28674411·2020-07-14 17:33

python爬虫学习-02requests库

requests模块-urllib模块-requests模块requests模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。作用：模拟浏览器发请求。如何使用：（requests模块的编码流程）-指定url-UA伪装-请求参数的处理-发起请求-获取响应数据-持久化存储环境安装：pipinstallrequests实战编码：-需求：爬取搜狗首页的页面数据实战巩固-需
夷陵大道君·2020-07-14 17:29

python爬虫学习笔记（一）

目前正在学习python爬虫，在网上找了一些很基础的课程，在这里做点笔记分享。需要的模块有：fromurllibimportrequestimportre#正则表达试importrandomfromurllibimportrequest老师说这里可以写成:importurllib.request，不过我在使用后者写法的时候调用：request.Request（）会显示NameError:name‘
amythsir·2020-07-14 15:21

Python--打印形状

*************1,打印一个正方形：length=int(input('>>>'))forhithinrange(length):forwidthinrange(length):print("*",end="")print()中空正方形：length=int(input('>>>'))forhithinrange(length):switch1=0ifhith==0orhith==(le
老王笔记·2020-07-14 04:39

python--接口自动化鉴权实例

第一大题：写一个类，有一个http_request函数，能够完成http的get以及post请求，url和param作为这个函数的参数。难点：考虑如果有cookie的话怎么完成请求？因为登录与充值有关联。验证：创建实例，完成登录--->充值请求。登录：http://xxx.xxx.xxx.xxx:8080/futureloan/mvc/api/member/login参数：{"mobilephon
z_erduo·2020-07-13 23:06

Python-- lxml安装

无论是使用爬虫框架scrapy，还是简单的requests请求后解析。都不可避免的需要使用html解析库。当然正则是可以代替一部分搜索。由于正则语法的晦涩，及其其他场景下，html解析是必不可少的。网上推荐lxml的比较多，优点：稳定，高效。但是lxml的安装很难一次成功。直接成功就不要接着看了。pipinstalllxml在windows系统中安装时，可能会出现如下错误：提示如下：error:M
ydw_ydw·2020-07-13 22:20

Python3爬虫学习-爬取图片批量下载 XPATH

最近在研究爬虫，爬取好多网站的数据，下面就以爬取图片网站照片为例，来让大家学习，希望大家多交流。总的来说爬虫不难，会python的简单语法，会xpath提取网页需要的信息，就可以很快的爬取网站的图片，同时也希望以此来激起大家学习的兴趣。文章导航一、环境二、源码三、部分源码分析3.1获取网站html网页数据源码3.2返回网页源码信息数据3.3提取网页中自己需要的信息--有多少页3.4循环进入某一页3
废人一枚·2020-07-13 22:43

网络爬虫学习（一）

学习网络爬虫，有很多种编程语言可以选择，但是，python是公认的最好的进行爬虫的编程语言，因此，本系列使用python语言来进行爬虫工作。由于python3版本是python的未来版本，所以，选择python3来进行爬虫开发，是最好的选择。接下来所要完成的首要工作便是网络爬虫环境的搭建。鉴于Linux环境下，搭建环境的方便，所以，以linux系统来作为开发平台。作为数据分析过程中非常重要的一个过
CSAIWQYB·2020-07-13 21:57

python3 爬虫学习-根据关键词爬取百度百科内容

小白编了好久才写出来，记录一下免得之后再用的时候都忘了还得重新学~学习爬虫最开始是学习了慕课上的python课程，然后学习了慕课和网易云上的爬虫教程。这两个自己去查一下就好了~开始还比较费劲，毕竟熟悉需要时间么，而且python也不太熟悉。关于python版本：我一开始看很多资料说python2比较好，因为很多库还不支持3，但是使用到现在为止觉得还是pythin3比较好用，因为编码什么的问题，觉得
岛上的小黑猫·2020-07-13 15:45

python--模块

模块模块是python中以为具有特殊功能的.py文件或是一列.py文件的总称分类按照出产方可以分为系统模块，第三方模块和自定义模块。导入模块的导入比较简单1.import模块名2.form包import模块名3.import模块名as别名下面主要对一些常见的重要的模块进行说明math（数学）importmathmath.piΠ(属性)math.fabs绝对值（方法）math.ceil()向上取整m
莫伤心·2020-07-13 12:59

python--字符串对象以及切片

字符串对象定义：字符串是由数字、字母、下划线组成的一串字符。是python中一种基本类型。创建：可以使用"’“’来创建字符串例如a=‘haha’，a=“haha”,a=”‘haha"’常用方法：字符串名.capitalize将字符串的首字母大写.center将字符串居中用空格填补，若存在第二个参数代表用该参数填充.count统计重复的次数.encode将字符串转化为字节，()里面填写编码方式：ut
莫伤心·2020-07-13 12:59

python--面向对象

写在之前python是一门面向对象的语言，他不同与C语言，Java这些面向过程的语言。面向对象就是模拟人类认知世界的行为，进行分类处理的过程。简而言之就是要创建一个世界，创建一个类，创建一个对象。类是模板，对象就是模板拓出来一个真实的案例。类类是一些具有相同属性的事物的统称包括，基本的属性和动作，在python中把这些动作叫做方法。比如：人类，鱼类等创建class类名():classPeople(
莫伤心·2020-07-13 12:59

python--函数

函数是什么?函数是pthon中为了实现某种特定的功能的一段代码为什么？在实际的工作环境中往往需要多个人配合完成一个项目，为了方便后面的修改和减少代码的总量，可以将一些重复的片段定义为一个函数怎么用？def函数名():函数体return()用def来定义一个函数，函数名后面的括号可以添加参数，也可以不用加。函数体是函数的主要内容return是函数的返回值，可以没有当要调用函数，可以直接使用函数名例：
莫伤心·2020-07-13 12:59

Python爬虫学习记录——2.初识Python爬虫

文章目录环境搭建创建一个简单实例爬虫的步骤环境搭建Python版本：Python3.7操作系统：Windows7IDE：PyCharm浏览器：GoogleChrome创建一个简单实例爬虫的第一步，是需要获取数据。在Python中，可以通过urllib包或者Requests包来进行数据的获取。urllib包推荐阅读urllib官方文档：https://docs.python.org/3/librar
赈川·2020-07-13 11:12

Python爬虫学习（一）----简单的爬虫实践

爬虫爬虫通俗的理解就是抓取你在网页上看到的信息。俗称爬爬爬嘛。所有网站皆可爬，第一次我们先做一下简单的爬虫尝试，让你初步对爬虫的原理或源代码有所熟悉。平台和需求我采用的平台是MacOSPycharm2016python3.6另外需要你对Python的基础语法有所了解，另外懂html的标签和css选择器。基础爬虫代码实践#!/usr/local/bin/python3#-*-coding:UTF-8
梦想周游全国的孩子·2020-07-13 11:30

爬虫学习入门笔记

爬虫前提知识：URLHTTP协议web前端，htmlcssjsajaxre,XpathXML爬虫的定义百度上详细的介绍三大步骤：下载信息提取正确的信息根据一定的规则自定跳到另外的网页上执行的两步内容爬虫分类通用爬虫专用爬虫pyhon网络包简介2.X----3.x----urllib,urllib3,httplib2,requestsurllib包含模块urllib.request:打开和读取模块的
猿胖子·2020-07-13 10:10

【爬虫学习笔记day17】2.5. JSON模块与JsonPath+数据提取之JSON与JsonPATH+JSON+import json+JsonPath（了解）+JsonPath与XPath语法对

文章目录2.5.JSON模块与JsonPath数据提取之JSON与JsonPATHJSONimportjson1.json.loads()2.json.dumps()3.json.dump()4.json.load()JsonPath（了解）JsonPath与XPath语法对比：示例：2.5.JSON模块与JsonPath数据提取之JSON与JsonPATHJSON(JavaScriptObjec
汪雯琦·2020-07-13 10:53

python--存储数据到txt和pdf文档以及乱码问题

第一、几种常用方法读取TXT文档：urlopen()读取PDF文档：pdfminer3k第二、乱码问题(1)、fromurllib.requestimporturlopen#访问wiki内容html=urlopen("https://en.wikipedia.org/robots.txt")print(html.read())输出的结果中出现乱码原因：计算机只能处理0和1两个数字，所以想要处理文本
明宇李·2020-07-13 08:14

【Python3 爬虫学习笔记】爬虫基础 2 ——HTTP基本原理2

5.6响应响应，由服务端返回给客户端，可以分为三部分：响应状态码（ResponseStatusCode）、响应头（ResponseHeaders）和响应体（ResponseBody）。5.6.1响应状态码响应状态码表示服务器的响应状态，如200代表服务器正常响应，404代表页面未找到，500代表服务器内部错误。在爬虫中，我们可以根据状态码来判断服务器响应状态，如状态码为200，则证明成功返回数据，
htsait4113·2020-07-13 05:53

爬虫学习笔记（1）

网络爬虫规则1Requests库自动爬取html页面2robots.txt网络爬虫排除标准3实战项目我用的操作系统ubuntu+pycharm+anaconda在网上搜教程即可安装好，利用conda下载requests库，在pycharm中配置anaconda作为编译器环境即可#requests库7个主要方法：a、requests.request()构造一个请求，支撑以下各方法的基础方法b、req
黑码·2020-07-13 00:26

Python爬虫学习笔记之爬虫基础

本文是我在使用网易云课堂学习日月光华老师讲的“Python爬虫零基础入门到进阶实战”课程所做的笔记，如果大家觉得不错，可以去看一下老师的视频课，讲的还是很棒的。什么是网络爬虫网络爬虫是一种程序，它的主要目的是将互联网上的网页下载到本地并提取出相关数据。网络爬虫可以自动化的浏览网络中的信息，然后根据我们制定的规则进行下载和提取信息。爬虫架构Python中爬虫相关技术python中实现HTTP请求网页
KaiSarH·2020-07-13 00:35

python中使用XPath

XPath在Python的爬虫学习中，起着举足轻重的地位，对比正则表达式re两者可以完成同样的工作，实现的功能也差不多，但XPath明显比re具有优势，在网页分析上使re退居二线。
weixin_30527423·2020-07-12 23:05

XPath在python中的高级应用

XPath在python的爬虫学习中，起着举足轻重的地位，对比正则表达式re两者可以完成同样的工作，实现的功能也差不多，但XPath明显比re具有优势，在网页分析上使re退居二线。
Winterto1990·2020-07-12 21:17

PtQt5及Matplotlib学习经验汇总（二）

平滑去燥）三、matplotlib使用简明教程（四）-辅助性元件四、向量的点乘、叉乘以及点到直线的距离计算五、matplotlib使用简明教程（四）-辅助性元件六、matplotlib使用基础汇总七、Python
大大的肥猫·2020-07-12 21:40

原创作品 | 盘搜搜-极速搜索你想要的一切资源-爬虫学习项目总结

花了大概两天时间，写完了这个简单的WEB应用！如你所见，我们从爬虫的入门到现在一个类似百度网盘搜索的成熟不算大的项目，就这么简单，加上PHP与SQL的知识，简简单单两天就完成了。这就是编程之美哈哈~功能说明：1.采集各大网盘公开分享的链接，以最简约的方式汇集，方便用户搜索；2.只要是你想要的资源，没有本站搜索不到的（后话哈哈）；3.各终端自适应。开源说明：1.整个系统采用Pyhon及时爬取更新数据
DYBOY·2020-07-12 19:28
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他