python--爬虫学习第30页

python爬虫学习之用Python抢火车票的简单小程序

利用Python制作自动抢火车票小程序，过年再也不要担心没票了！前言每次过年很多人都会因为抢不到火车票而回不了家，所以小编利用Python写了一个自动抢火车票的工具，希望大家能抢到火车票，回家过个好年！话不多说，直接上代码：'''在学习过程中有什么不懂得可以加我的python学习交流扣扣qun，934109170群里有不错的学习视频教程、开发工具与电子书籍。与你分享python企业当下人才需求及怎

Python新手学习之家·2020-07-11 21:01

Python爬虫学习笔记:requests库常用方法总结

requests是一个功能强大,使用方便的网络请求库.本文主要介绍requests库入门水平的常用方法1.使用requests库发送请求最基本的get请求发送方式如下:importrequestsr=requests.get(url)返回的r为一个Response对象requests库主要方法如下表所示:get方法的常用可选参数有params为URL的查询字符串传递某种数据例:payload={'

Chaos Rings·2020-07-11 21:04

python爬虫学习（2）：输入电影名获得电影信息

输入电影名获得电影信息获得含有电影信息的网址链接爬取电影简介.string与.text.string的一些抓取问题完整代码关于`if__name__=='__main__'`完整代码在上一篇博文：python爬虫学习

苏木不枝·2020-07-11 21:53

【Python--教程】数字进制转换：十进制与二进制，八进制，十六进制的转换

python3中内置了数字进制转换的模块，各位读者可以放心食用。本次教程将讲解如何使用python实现十进制到二进制，八进制，十六进制的转换。教程篇十进制转二进制bin函数官方讲解：Helponbuilt-infunctionbininmodulebuiltins:bin(number,/)Returnthebinaryrepresentationofaninteger.>>>bin(279620

猫先生的早茶·2020-07-11 20:11

python--利用微信定时自动给女朋友发消息

！！！！在github上面看到这个库的时候，发现很感兴趣，就研究了一哈，后面发现这个wxpy这个库是怎么的都运行不起来，但是看了都看了，就还是写下来吧！！！！！程序作用：每天早中晚定时给女朋友发消息如果有特殊的节日，会发送特定的消息给女朋友需要的导入的模块：Wxpy：python操作微信模块模块使用方式虽然这个模块不能用了，但是这个官网还是坚挺的Request流程：先开启一个简单的无限循环，这样能

Deapou·2020-07-11 20:44

为了部落来自艾泽拉斯勇士的python爬虫学习心得爬取大众点评上的各种美食数据并进行数据分析

为了希尔瓦娜斯第一个爬虫程序csgo枪械数据先上代码基本思想问题1问题2爬取大众点评URL分析第一个难题生成csv文件以及pandas库matplotlib.pyplot库K-Means聚类散点图便宜又好吃的推荐第一个爬虫程序csgo枪械数据最开始的时候没想爬去大众点评，能对我这个博客有兴趣，应该对游戏也挺感兴趣，肯定知道csgo，csgo有很多第三方交易平台，我就想爬去igxe试一试，将上面cs

HZH-Y·2020-07-11 20:04

Python--获取指定目录下的指定类型文件

一、获取目录下指定类型的的文件,返回一个列表#无递归：defDirfile(srcdir,file_ext):filelist=[]dstlist=[]filelist.append(srcdir)whilelen(filelist)!=0:tmpdir=filelist.pop()ifos.path.isdir(tmpdir):tmpvec=os.listdir(tmpdir)fortmpite

TLCrow·2020-07-11 19:15

Python爬虫学习（四）Beautiful Soup库入门

（四）BeautifulSoup库入门BeautifulSoup库官方文档(1)BeautifulSoup库基本元素BeautifulSoup库是解析、遍历、维护“标签树”的功能库.....:标签Tagp:名称Name（成对出现）class='title':属性Attributes（0个或多个）BeautifulSoup对应一个HTML/XML文档的全部内容frombs4importBeautif

浩然丶·2020-07-11 19:43

python--前端开发 03 JS(JavaScript)

思考：什么是JavaScript？作用是什么？1996年11月，JavaScript的创造者--Netscape公司，决定将JavaScript提交给国际标准化组织ECMA，希望这门语言能够成为国际标准。次年，ECMA发布262号标准文件（ECMA-262）的第一版，规定了浏览器脚本语言的标准，并将这种语言称为ECMAScript，这个版本就是1.0版。该标准一开始就是针对JavaScript语言

一越王超·2020-07-11 18:49

Python爬虫学习笔记（使用代理及代理池——解决返回状态码302即IP被封的问题）

对于一般的小型爬虫，我们爬取某个网站所发出的请求次数少即频率不是很高时，为避免可能出现的IP被封的问题，我们可以设置爬取延时或者规定爬取时长来解决。1.requests库importrequests#如果代理需要认证，可以使用proxy='username:password@IP:port'proxyHttps='121.33.220.158'#端口:808proxyHttp='110.73.8.

二叉叔·2020-07-11 16:40

爬虫学习之猫眼TOP100爬取

一.进入猫眼TOP100网站，分析respond结果可以直接接收到HTML代码，使用request库来获取网页代码。二.获取网页代码先用一小段代码测试下能否正常接收importrequestsrespond=requests.get('http://maoyan.com/board/4')print(respond.text)可以看到访问获得的并不是我们想要的代码，因为这是猫眼官方设置的反爬取手段

没有刺的仙人掌·2020-07-11 15:38

中国最好大学排名定向爬虫

中国最好大学排名定向爬虫学习视频：方法与思路：应用模块：数据提取方式：网页分析：代码如下：运行效果：学习视频：视频链接欢迎留言指出错误。

python918·2020-07-11 14:59

Python--链表的深复制，浅复制

在python中，对象赋值实际上是对象的引用。当创建一个对象，然后把它赋给另一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用一般有三种方法，alist=[1,2,3,["a","b"]]（1）直接赋值,传递对象的引用而已,原始列表改变，被赋值的b也会做相同的改变b=alistprintb[1,2,3,['a','b']]alist.append(5)printalist;

fighting_css·2020-07-11 13:32

python--安卓APP自动化测试环境搭建（Appium+夜神模拟器）

0.前言看了很多自动化测试入门的课程，还是B站白月黑羽讲的最详细从环境搭建到常用功能，讲的都比较详细由于没什么项目实践，就简单写了一个什么值得买APP自动签到脚本后期打算买个树莓派，把整个环境搭在树莓派上，但是不知道能不能安装appium代码实现思路上和PC端的浏览器自动化测试比较类似（Selenium库）环境搭建上有很多坑，最好是按照之前搭过的配置来（百度云链接在下面）之前自己搭的时候，也是一样

高冷的宅先生·2020-07-11 12:19

python--类组合类对象（二十四）

python--类组合类对象（二十四）#类组合：当类与类之间没有直接逻辑关系，但是需要将他们联合起来，就可以用组合。

Bruce小鬼·2020-07-11 12:21

python3 网络爬虫学习 3.4 抓取猫眼电影排行

importrequestsimportreimporttimeimportjsondefget_one_page(url):headers={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/535.1(KHTML,likeGecko)Chrome/14.0.835.163Safari/535.1"}response=request

luslin·2020-07-11 12:21

python--时间，日期，时间戳处理及转换

文章目录一、获取当前时间1.获取当前本地时间1)日期格式时间2)struct_time格式时间2.获取当前UTC时间1)日期格式时间2)struct_time格式时间3.获取当前时间戳二、输入时间字符串格式转换1.time模块2.datetime模块三、日期与时间戳的相互转换1.日期转时间戳1)本地日期转时间戳a)time模块b)datetime模块2)UTC日期转时间戳a)time模块b)dat

若夫萤雨霏霏·2020-07-11 11:02

python--列表、字符串、字典、元组之间的转换

文章目录列表、字符串、字典、元组之间的转换1.列表与字符串的相互转换列表转字符串字符串转列表2.列表与字典的相互转换列表转字典两个列表转字典嵌套列表转字典字典转列表3.字典与字符串的相互转换字符串转字典字典转字符串4.元组与字符串的相互转换元组转字符串字符串转元组5.元组与列表的相互转换元组转列表列表转元组6.元组与字典的相互转换元组转字典字典转元组列表、字符串、字典、元组之间的转换1.列表与字符

若夫萤雨霏霏·2020-07-11 11:31

python--获取参数输入(获取用户输入)

文章目录input()函数sys.argv模块argparse模块getopt模块参考链接：http://c.biancheng.net/view/4228.htmlpython获取参数的方式笔者归纳下来主要有三种方式，下面依次说明。input()函数input()函数通过在命令行提示的形式提示用户输入需要的参数，如下：data=input("pleaseenterthedata:")print(

若夫萤雨霏霏·2020-07-11 11:00

Python爬虫学习（四）抓取猫眼电影的top100

利用requests库加上beautifulsoup完成代码如下importrequestsfrombs4importBeautifulSoupheaders={'User-Agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_11_4)AppleWebKit/537.36(KHTML,likeGecko)Chrome/52.0.2743.116Safari/53

liu__cloud·2020-07-11 11:26

python--两个牛逼的BIF,内置函数

>>>help(filter)Helponclassfilterinmodulebuiltins:classfilter(object)|filter(functionorNone,iterable)-->filterobject||Returnaniteratoryieldingthoseitemsofiterableforwhichfunction(item)|istrue.Iffunctio

lengyue1084·2020-07-11 10:59

Python爬虫学习(4)Scrapy采集框架

Scrapy入门注意:Python版本需要为2.7丛书编者按:Scrapy由Python编写。如果刚接触并且好奇这门语言的特性以及Scrapy的详情，对于已经熟悉其他语言并且想快速学习Python的编程老手，LearnPythonTheHardWay，对于想从Python开始学习的编程新手，非程序员的Python学习资料列表将是您的选择。1.定义Item爬取模型首先根据需要从dmoz.org获取到

语落心生·2020-07-11 09:24

Python 爬虫学习笔记（一）

视频教程：慕课网Python开发简单爬虫1.简单爬虫架构image.png2.爬虫架构的运行流程image.png3.URL管理器image.png4.URL管理器的实现方式image.png5.网页下载器image.png6.网页下载器--urllib26.1image.png6.2image.pngimage.png6.3image.pngimage.png7.urllib2实例代码演示ima

拿破仑蛋糕·2020-07-11 08:57

Python--根据键对字典排序

方法一，zip函数>>>dic={"name":"zs","sex":"man","city":"beijing"}#1.字典转列表嵌套元组>>>foo=zip(dic.keys(),dic.values())>>>foo=[iforiinfoo]>>>print("字典转成列表嵌套元组",foo)字典转成列表嵌套元组[('name','zs'),('sex','man'),('city','be

faihung·2020-07-11 05:19

python爬虫学习日记

大概一个月前开始接触到python，当时看着i春秋学院的课程，了解到python是黑客编程的利器（然而当时我也并不知道是为什么），就开始看python核心编程，一开始并没有什么头绪，只是按部就班的看书。有一天，逛知乎的时候看到了网络爬虫这个领域，开始慢慢了解，并喜欢上它，python的代码对于我这种门外汉来说非常友好，真的很适合作为入门语言来学习，至于前辈所说的局限性，等慢慢深入之后再学习java

carryuan·2020-07-11 05:35

Python网络爬虫学习手记（1）——爬虫基础

1、爬虫基本概念网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。--------百度百科简单的说，爬虫就是获取目标网页源代码，并提取和保存网页信息的自动化程序或者脚本。网络爬虫脚本或者程序一般包含如下几个步骤：A.获取网页源代码爬虫首要的任务就是获取需要爬取的目标网页，也就是网页源代码，一般网页源代码就

dieshuang3318·2020-07-11 05:52

Python学习笔记1--基础篇--基本原书抄写一遍

1、安装正常后，按照开始-->程序-->Python-->IDLE(PythonGUI)的步骤运行Python集成开发环境（PythonIntegratedDevelopmentEnvironment，

chouningning·2020-07-11 03:48

Python--修改列表中所有的元素

此段代码循环了列表中的值但是不会修改列表//Anhighlightedblockdefmake_great(magicians):formagicianinmagicians:#每次循环拿到列表的的值进行赋值给magicianmagician="theGreat"+magician#打印出magician的的值，应为"theGreat"+magicianprint(magician)#因为magi

Zhang_先生·2020-07-11 00:36

Python数据爬虫学习笔记（18）Scrapy糗事百科Crawl自动爬虫

一、需求：在糗事百科主页下，无需设置页码，自动爬取所有段子详情页的段子完整内容。（1）糗事百科主页：（2）段子详情页：二、Scrapy实现思路：在糗事百科主页上自动提取出所有段子的详情链接，在每个段字详情页中爬取段子内容。三、网页源代码分析：1、糗事百科段子详情页链接分析：注意到每个段子详情的链接都含有“article”2、糗事百科段子详情页源码分析，注意到段子内容被class属性为content

Zhengyh@Smart3S·2020-07-10 23:09

Python数据爬虫学习笔记（9）爬虫防屏蔽之代理服务器

一、代理服务简介：所谓代理服务器，是一个处于我们与互联网中间的服务器，如果使用代理服务器，我们浏览信息的时候，先向代理服务器发出请求，然后由代理服务器向互联网获取信息，再返回给我们。使用代理服务器进行信息爬取，可以很好的解决IP限制的问题。二、代码：importurllib.requestdefuse_proxy(url,proxy_addr):proxy=urllib.request.Proxy

Zhengyh@Smart3S·2020-07-10 23:37

爬虫学习笔记--Tor隐藏Ip

因为在爬虫时，如果使用了默认的IP可能导致自己的IP遭到封禁所以就要隐藏自己的IP事先说明爬虫要有度也要考虑服务器的压力本篇基于win10tor的原理http://www.cnblogs.com/likeli/p/5719230.htmlhttp://blog.csdn.net/whiup/article/details/52317779https://www.deepdotweb.com/201

Qin_xian_shen·2020-07-10 23:35

python爬虫学习之路(1) 利用urllib爬取网站

网络爬虫的定义网络爬虫，也叫网络蜘蛛(WebSpider)，如果把互联网比喻成一个蜘蛛网，Spider就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的地址来寻找网页的，也就是URL。举一个简单的例子，我们在浏览器的地址栏中输入的字符串就是URL，例如：https://www.baidu.com/URL就是同意资源定位符(UniformResourceLocator)，它的一般格式如下(带方括号

QEcode·2020-07-10 23:23

数据分析1_猫眼TOP100

如何爬取的博客：爬虫学习日记3_猫眼TOP100导包并清洗数据根据上一篇博客里面写的爬取方式，我把爬取下来的数据存放在了MongoDB里面，所以首先需要加载数据。

林_胖·2020-07-10 22:45

Python--高阶函数、函数嵌套、名称空间及变量作用域、闭包、装饰器

1.高阶函数（map/reduce/filter）高阶函数是指函数的参数可以是函数这篇总结几个常用的高阶函数：map/reduce/filtermap函数、reduce函数、filter函数都是Python中的内建函数。map函数map函数的作用是将一个函数作用于一个序列的每一个元素，一行代码即可完成，不需要用我们平常喜欢用的循环。map将运算进行了抽象，我们能一眼就看出这个函数是对一个序列的每个

LCY19750003·2020-07-10 22:40

Python--函数参数类型、用法及代码示例

在编程语言里，将一个个功能定义成函数，能够进行反复调用，而不是每次都重复相同的代码，这种方式能够大幅度降低代码的复杂度。函数的好处：1.代码重用2.保持一致性3.可扩展性1.基础我们定义函数的时候可以带参数，也可以不带参数，可以有返回值，也可以没有返回值（没有返回值时默认为None）。当返回值有多个时，python以元祖的方式返回。#不带参数、无返回值的函数deffunc1():print("Th

LCY19750003·2020-07-10 22:39

python爬虫学习笔记之Beautifulsoup&正则表达式

本文是我在使用网易云课堂学习日月光华老师讲的“Python爬虫零基础入门到进阶实战”课程所做的笔记，如果大家觉得不错，可以去看一下老师的视频课，讲的还是很棒的。本文没什么营养，只是做个笔记。Beautifulsoup使用beautifulsoup可以直接返回源代码。#引入beautifulsoupfrombs4importBeautifulSouphtml="""firstitemsecondit

KaiSarH·2020-07-10 22:22

python爬虫——requests模块（嵩天慕课爬虫学习笔记）

导入importrequests下面是一个简单的例子url="http://www.baidu.com"#设置链接网址r=requests.get(url) #获取网页r.status_code#检查状态，200为成功，其它均为失败r.encoding='utf-8'#设置编码格式r.text#输出网页源代码Requests库的两个对象——Response与RequestResponse包含

JokeOrSerious·2020-07-10 22:29

爬虫学习：Requests+正则表达式爬取猫眼电影

B站视频av19057145`P14requests+正则表达式爬取网站信息代码：（之前没有添加header时失败）importrequestsfromrequests.exceptionsimportRequestExceptiondefget_one_page(url):try:headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64

Hello_Bye·2020-07-10 21:10

2019年Python爬虫学习必看

weixin_33882443·2020-07-10 19:20

Python爬虫学习笔记3：基本库的使用

学习参考：Python3网络爬虫开发实战3.1urllib官方文档链接为:https://docs.python.org/3/library/urllib.html3.1.1发送请求1.urlopen()importurllib.requestresponse=urllib.request.urlopen('http://www.baidu.com')#print(response.read().

山清水秀iOS·2020-07-10 19:31

python爬虫学习(二)：定向爬虫例子-->使用BeautifulSoup爬取"软科中国最好大学排名-生源质量排名2018"，并把结果写进txt文件...

在正式爬取之前，先做一个试验，看一下爬取的数据对象的类型是如何转换为列表的：写一个html文档:x.htmlThisisapythondemopageThedemopythonintroducesseveralpythoncourses.BasicPythonPythonisawonderfulgeneral-purposeprogramminglanguage.YoucanlearnPython

weixin_30724853·2020-07-10 19:49

python爬虫：编写多进程爬虫学习笔记

#-*-coding:utf-8-*-"""CreatedonSatOct2221:01:232016@author:hhxsym"""importrequestsimportjsonimportosimportpymongoimporttimefrombs4importBeautifulSoupfrommultiprocessingimportPool#进程调用的包inpath="C:\\Use

山谷來客·2020-07-10 18:33

python3 + Scrapy爬虫学习之创建项目

最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤pycharm是无法创建一个scrapy项目的因此，我们需要用命令行的方法新建一个scrapy项目请确保已经安装了scrapy，twisted，pypiwin32一：进入你所需要的路径，这个路径存储你创建的项目我的将放在E盘的Scrapy目录下二：创建项目：scrapystartproject***(这

s_kangkang_A·2020-07-10 18:17

Python爬虫学习(BeautifulSoup库入门)

文章目录BeautifulSoup类的基本元素标签树的遍历下行遍历上行遍历平行遍历关系查找data','html.parser')soup_=BeautifulSoup(open('D://data.html'),'html.parser')BeautifulSoup类的基本元素标签树的遍历下行遍历上行遍历平行遍历平行遍历发生在同一个父节点下的各节点间注：迭代类型只能用于循环遍历关系修饰方法：so

公羽向阳·2020-07-10 18:05

Python--把文件夹下的图片全部拼接成一张大图

输入：1、几行几列2、图片路径（不遍历子文件夹）importosimportcv2importnumpyasnpimportPIL.ImageasImageimportmatplotlib.pyplotaspltimg_type=['.jpg','.JPG','.png','.PNG','.bmp','.BMP']#可继续添加图片类型#输入几行几列ROW=4COL=5defresize_blank

TLCrow·2020-07-10 18:12

python--常用库collections

fromcollectionsimportnamedtuple,deque,Counter,OrderedDict#创建一个新classPoint,有两个属性xyPoint=namedtuple('Point',['x','y','z'])p=Point(1,1,3)print(p.x)print(p.y)print(p.count(1))d=p._asdict()#转换dictprint(d['

梦入玄机·2020-07-10 17:25

Command "python setup.py egg_info" failed with error code 10

背景描述：在根据这位大神的python2.7爬虫教程进行python3.6爬虫学习时遇到了问题http://cuiqingcai.com/2443.html（这是这位大神的python文档教程）个人不太喜欢以视频方式学习

寂灭万乘·2020-07-10 17:41

Python爬虫学习笔记--多进程用法

huangjx36·2020-07-10 17:14

Python爬虫学习笔记（多进程爬虫-酷狗榜单500）

Python爬虫学习笔记（多进程爬虫-酷狗榜单500）编译器：Pycharmcommunity2018.3.4版本数据库：Mysql5.5/SQLyog首先我们介绍一下为什么用多进程爬虫，目的是为了提升爬虫的爬取速度

许白·2020-07-10 16:55

Python爬虫学习笔记(实例：爬取猫眼电影排行前100)

二叉叔·2020-07-10 15:26

推荐频道

python--爬虫学习