python--爬虫学习第17页

python爬虫学习笔记.requests库的使用

一，基本用法Ⅰ,GET请求1，get()方法用于构建GET请求参数：requests.get(url,params,**kwargs)params：用于添加额外的参数**kwargs：12个控制访问的参数，如headers返回的类型：requests.models.Response对象*属性：status_code:状态码text：HTTP响应内容的字符串形式content：HTTP响应内容的二进

qq_51102350·2021-04-26 15:24

爬虫学习总结

append把列表作为一个元素放在原列表里extend在列表的末尾一次性添加多个元素insert在任意位置添加一个元素split字符串拆分format字符串格式化replace字符串替换json.loads()将文本转换成json格式json.dumps()将文本转换成json数据extract()在scrapy框架提取文字最常用extract_first()在一个列表里提取第一个值meta在sc

林中有神君·2021-04-25 09:19

Python--安装与配置selenium

安装及使用的中文文档可以在这里找到readthedocs.io安装#pipinstallselenium配置下载驱动selenium3.x以上需要浏览器驱动，到这里下载相应驱动，https://github.com/SeleniumHQ/selenium/blob/master/py/docs/source/index.rst解压解压驱动到/usr/bin或/usr/local/bin测试运行下面

Mr_Normal·2021-04-24 14:05

python爬虫学习笔记.urllib的使用

这里写目录标题一，urllib四大模块1，request：基本的HTTP请求模块，可以用来模拟发送请求。2，error：异常处理模块。3，parse：工具模块，提供URL处理方法。4，robotparse：识别网站的robot.txt文件，判断该网站是否可以爬。二，发送请求Ⅰ：urlopen的使用作用抓取网页源代码。使用方法importurllib.requestresponse=urllib.r

qq_51102350·2021-04-22 17:11

利用Selenium获取订单状态

刚好最近研究爬虫学习了Selenium的相关知识，于是写了一段脚本，实现了账户的自动登陆以及订单状态记录。

小T数据站·2021-04-20 22:16

python--生词本

背单词是英语中最基础的一环，不少用户在背诵单词的过程中会记录生词，以不断拓展自己的词汇量…classWorld:def__init__(self,world,chinese):self.world=worldself.chinese=chineseworld=""chinese=""classWorldDao:#增加词汇defaddWorld(self,w):a_world=w.worlda_ch

理想艺术！马·2021-04-20 21:10

7大Python就业岗位，你知道几种？自己选对了吗？

一、学完Python做网络爬虫学习Python的人员当中很大一部分的人是在学习爬虫，这也是Python的一大优势之一，最早用Python做网络爬虫的是谷歌。为什么要用Python写爬虫？

程序猿中的BUG·2021-04-19 16:29

Python爬虫学习的完整路线推荐

数据是决策的原材料，高质量的数据价值不菲，如何挖掘原材料成为互联网时代的先驱，掌握信息的源头，就能比别人更快一步。大数据时代，互联网成为大量信息的载体，机械的复制粘贴不再实用，不仅耗时费力还极易出错，这时爬虫的出现解放了大家的双手，以其高速爬行、定向抓取资源的能力获得了大家的青睐。爬虫变得越来越流行，不仅因为它能够快速爬取海量的数据，更因为有python这样简单易用的语言使得爬虫能够快速上手。对于

小木老师教编程·2021-04-19 08:40

python--异常处理

目录1基本格式2异常类型3用raise手动抛出异常4利用assert自定义异常异常是Python程序在运行过程中引发的错误，如果程序中引发了未进行处理的异常，程序就会由于异常而终止运行，只有为程序添加异常处理，才能使程序更“健壮”。有时候，我们为了预防可能出现的错误，需要对一些数据或者操作的可行性进行分析判断，这里就涉及到python的异常处理功能了。1基本格式try:#可能产生异常的语句（块）e

学渣渣渣渣渣·2021-04-08 11:50

Python爬虫学习笔记——Ajax数据抓取实战

前言在学会了用requests，scrapy等工具爬取较为简单的数据后，接下来可以尝试一下较为复杂的网站。很多网站，特别是做的比较漂亮的网页，在检查源代码的时候都会发现网页上的内容在源码里找不到，这是因为大部分较复杂的网页是由js渲染的，源代码里没有显示。js渲染的网页较为复杂，本次主要学习Ajax数据的分析及抓取。AjaxAjax,即“AsynchronousJavascriptAndXML”（

Le'Internationale·2021-03-09 17:03

Python爬虫制作翻译程序的示例代码

上篇文章给大家介绍了Python爬虫实现百度翻译功能过程详解Python爬虫学习之翻译小程序感兴趣的朋友点击查看。

·2021-02-22 12:24

python爬虫实训日志_python爬虫学习日记(2)

这次传参为了直观看出结果，本地打了一个flask框架的网站，这里简单介绍下flask框架，不想了解可以跳过这里，毕竟这里是记录爬虫学习。

kindle电子书单·2021-02-21 06:18

2021-02-19

day02—python爬虫学习笔记---------------化妆品生产许可证关系系统服务平台一.对页面进行分析化妆品生产许可证关系系统服务平台可发现次应爬取的为页面中的详细信息而非页面中带的信息因此对其尝试

烦恼的威尔逊·2021-02-19 02:13

爬虫学习笔记2

在爬取网页信息时有时会遇到有账号信息输入的网页，需要填入账号密码后跳转才能进行爬取信息，但我们常用的http协议是无状态协议，它的问题在于即便在登陆面板登陆状态成功，在你访问个人主页时是不会跳转的因为服务器默认你是新的请求而没有登录状态。将html页面中使用审查元素将本页面的数据包解析后，在headers中的cookie值封装到python中的header字典中并同以往发起请求即可。但是这种方式是

@莫里亚蒂·2021-02-13 21:22

爬虫学习笔记

在爬虫中使用正则表达式是很麻烦的过程，在实际应用中有一个python特有的第三方库bs4来替代正则表达式的用法，首先使用pipinstallbs4下载并同样方法下载lxml插件（后续介绍）Bs4的使用是需要将一个对象实例化的库，（两种方式）1.Fp=open（“./filename”,’r’,encording=’utf-8’）Soup=Beautifulsoup（fp，’lxml’）#第二个参数

@莫里亚蒂·2021-02-13 21:44

豆瓣电影Top250数据爬取、数据分析及数据可视化

正则表达式数据存储本地excel保存sqlite数据库保存结果展示数据可视化FlaskEchartsWordCloud新手问题总结与解决方法ip被封查看网页源码和"F12Elements"后不一致其他问题引言在爬虫学习中

咸鱼lee·2021-02-13 15:17

python抽奖游戏、某商场为了促销_详解python--模拟轮盘抽奖游戏

题目：轮盘分为三部分:一等奖,二等奖和三等奖;轮盘转的时候是随机的,如果范围在[0,0.08)之间,代表一等奖,如果范围在[0.08,0.3)之间,代表2等奖,如果范围在[0.3,1.0)之间,代表3等奖,模拟本次活动1000人参加,模拟游戏时需要准备各等级奖品的个数.importrandomRewardCount={'一等奖':(0,0.08),'二等奖':(0.08,0.3),'三等奖':(0

weixin_39577052·2021-02-10 13:43

ajax python 数据爬取_python网络爬虫学习笔记（十一）：Ajax数据爬取

对于第一种情况，数据加载是一种异步加载方式，原始的页面最初不会包含某些数据，原始页面加载完后，会再向服务器请求某个接口获取数据，然后数据才被处理从而呈现到网页上，这其实就是发送了一个Ajax请求。照Web发展的趋势来看，这种形式的页面越来越多。网页的原始HTML文档不会包含任何数据，数据都是通过Ajax统一加载后再呈现出来的，这样在Web开发上可以做到前后端分离，而且降低服务器直接渲染页面带来的压

弄獐相公李哥奴·2021-02-06 12:16

python--基于三层神经网络实现手写数字分类

基于三层神经网络实现手写数字分类源码及数据集背景知识神经网络的组成全连接层激活函数层Softmax激活层神经网络训练精度评估实验内容源码及数据集https://download.csdn.net/download/qq_46102127/15020486背景知识（关于公式的证明即如何求矩阵偏导，可以查看这篇博客：https://blog.csdn.net/lirika_777/article/de

玮雨君·2021-02-03 22:11

爬虫学习（11）：爬取虎牙美女直播高清照片

本来想展示下爬取下来的图片，结果被官方审核未通过，说内容低俗，所以我就不放图了，可以自己去跑一下，开车了，哈哈，感觉不怎么低俗吧，害，上代码！importrequestsfromlxmlimportetreeimporttimeurl='https://www.huya.com/g/4079/'header={'User-Agent':'Mozilla/5.0(Macintosh;IntelMac

川川菜鸟·2021-02-03 18:19

爬虫学习（10）：xpath爬取包图网高清模板视频

暂时我就没有发xpath基础知识了，编辑太浪费时间了，需要了解或者有问题的可以加我群问我就好了，我也正在努力学习中，不废话了，上代码，解释都在注释.先看效果：开始的时候下载的还不是那么高清，后来我琢磨半天才下载到高清的模板视频：importrequests#发送请求fromlxmlimportetree#处理数据header={'User-Agent':'Mozilla/5.0(Macintosh

川川菜鸟·2021-02-03 00:54

python爬虫学习笔记Requests模块

写在前面：笔记所有内容均来自哔哩哔哩（B站相关视频链接（侵删））一、requests模块（一）理论相关requests模块:python中原生的一款基于网络请求的模块，功能非常强大，简单便捷效率极高。作用:模拟浏览器发请求。如何使用:(requests模块的编码流程)1、指定url2、发起请求3、获取响应数据4、持久化存储（二）实战编码一个简单的小栗子1：爬取搜狗首页的页面数据（搜狗首页）pyth

景景景景景景色分明·2021-02-02 22:27

爬虫学习（9）：正则爬取jk妹子头像，不要滑走！

效果：代码可以直接用，不用修改，但是希望大家能通过这个例子能够学到正则的使用：importrequestsimportreimporturllib.requestimporttimeimportosheader={'User-Agent':'Mozilla/5.0(Macintosh;IntelMacOSX10_13_3)AppleWebKit/537.36(KHTML,likeGecko)Chr

川川菜鸟·2021-02-02 22:02

Python爬虫学习笔记-第二十课(Scrapy进阶中)

Scrapy进阶中1.案例练习——腾讯招聘1.1思路分析1.2完整代码1.3需求升级1.3完善代码2.案例练习——古诗文2.1思路分析2.2完整代码3.ScrapyShell4.Settings配置补充1.案例练习——腾讯招聘代码需求：爬取工作岗位(标题)，并进行翻页，点击职位后，获取详情页的数据。相应链接：https://careers.tencent.com/search.html?index

tzr0725·2021-01-30 22:12

跟着菜鸟学python--函数和参数讲解

微信公众号：函数的定义默认值参数默认参数的陷阱关键字参数可变参数我们先来看看官方是怎么定义函数的定义函数使用关键字def，后跟函数名与括号内的形参列表。函数语句从下一行开始，并且必须缩进。为什么要有函数呢？在我们写代码的时候如果从头写到尾其实也没问题，但是如果随着时间拉长，代码越来越多，这个时候就变得极其的难维护，而且如果我有的地方需要重复的引用一些功能，我也要重复的去写，这样非常的浪费时间。例如

测试之禅·2021-01-29 20:09

Python爬虫学习笔记-第十九课(Scrapy进阶上)

Scrapy进阶上1.pipline补充2.items.py文件3.案例演示3.1思路分析3.2完整代码3.3案例总结：1.pipline补充settings.py默认生成一个管道，但用户可以自定义多个管道。为什么需要多个pipeline：可能会有多个spider，不同的pipeline处理不同的item的内容；⼀个spider的内容可以要做不同的操作，比如存入不同的数据库中。注意：管道后的数字(

tzr0725·2021-01-28 17:22

python爬虫学习

本人大一小白，假期自学爬虫代码来源B站李巍老师下面是代码块，写的有点乱，请包涵#-*-codeing=utf-8-*-frombs4importBeautifulSoup#进行网页解析获取数据importre#正则表达式，进行文字匹配importurllib.request,urllib.error#定制URL，获取网页数据importxlwt#进行excel操作findlink=re.compi

楠缘·2021-01-27 19:22

Python爬虫学习笔记-第十八课(Scrapy入门)

Scrapy入门1.Scrapy简介及安装2.Scrapy的工作流程3.Scrapy的快速入门3.1创建一个简单的scrapy工程3.2程序目录结构3.3豆瓣案例练习3.4Pipelines管道保存数据1.Scrapy简介及安装为什么要学习Scrapy：可以大幅提升爬虫的效率。什么是Scrapy：⼀个为了爬取网站数据，提取结构性数据而编写的应用框架。Scrapy的优点：可配置和扩展性高；基于Twi

tzr0725·2021-01-27 10:09

2021-01-27

爬虫学习第三天文章目录爬虫学习第三天前言一、步骤1.思想2.具体代码实现总结前言今天初步了解了多线程，线程池等概念，找以前的网站试试手！

一只努力的蜗牛·2021-01-27 00:38

Python爬虫学习笔记-第十七课(多线程与爬虫)

多线程与爬虫-爬取王者荣耀高清壁纸1.常规方法1.1案例思路1.2代码编写2.多线程方法2.1代码思路2.2完整代码3.采用selenium方法3.1代码思路3.2完整代码1.常规方法1.1案例思路目标：爬取王者荣耀官网上的高清壁纸，如下图。但是，这些图片的url在网页源代码中是找不到的，网站对图片数据做了一定的反爬。此时，通常的做法是在network里寻找数据接口，本案例中就是worklist，

tzr0725·2021-01-23 15:04

跟着菜鸟学python--字典的使用

微信公众号：定义我们来看看官方文档对于dict类型的介绍可以看到字典是以键值对的形式来建立的{‘key’：‘value’}，key只能是不可变类型，value几乎可以是任何类型创建字典的几种方式字典的一些应用返回字典d中使用的所有键的列表1.返回字典d中的项数。2.返回d中以key为键的项。如果映射中不存在key则会引发KeyError1.将d[key]从d中移除。如果映射中不存在key则会引发K

测试之禅·2021-01-18 11:06

python--简析程序控制流程

Python程序中语句执行的顺序包括3种基本控制结构：顺序结构、选择结构、循环结构。1、顺序结构程序中语句执行的基本顺序按各语句出现位置的先后次序执行，称为顺序结构，参见下图。先执行语句块1，再执行语句块2，最后执行语句块3。三者是顺序执行关系。2、选择结构选择结构可以根据条件来控制代码的执行分支，选择结构也叫分支结构。Python使用if语句来实现分支结构。分支结构包含多种形式：单分支、双分支和

zwh Matrix·2021-01-17 14:37

python爬虫自学笔记_Python爬虫学习笔记2：爬虫基础

HelloWorldHell口，thisisaparagraph.body>html>这就是一个最简单的HTML实例。开头用DOCTYPE定义了文档类型，其次最外层是html标签，段后还有对应的结束标签来表示闭合，其内部是head标签和body标签，分别代表网页头和网页体，它们也需要结束标签。head标签内定义了一些页面的配置和引用，如:它指定了网页的编码为UTF-8.title标签则定义了网页的

weixin_39607447·2021-01-14 00:51

python免费自学爬虫_这套Python爬虫学习教程，不到一天即可新手到进阶！免费领...

想用Python做爬虫，而你却还不会Python的话，那么这些入门基础知识必不可少。很多小伙伴，特别是在学校的学生，接触到爬虫之后就感觉这个好厉害的样子，我要学。但是却完全不知道从何开始，很迷茫，学的也很杂，下面就跟着小编一起来看看想用python来做爬虫到底需要学习哪些知识吧！Python入门1、基本知识、数据类型、流程控制。2、用模块3、函数4、Linux基础5、I/O基础6Python数据分

里斯本看灯塔·2021-01-13 21:26

python爬虫教程post加密_python爬虫学习日记（2）--分析POST信息（MD5加密）

这次依然是以黎明大学的教务管理系统为例，因为之前我认为他的POST是很简单的，可是后来发现，他进行了加密，而且用其他的信息来加密另一个信息，所以我这次重新分析一遍，这里涉及到javascript，我都不会，但是通过百度都能查到，下面看我是怎么一步步挤牙膏的。1.读表单我们先来读表单的内容，选取可能被加密的style="WIDTH:134px;HEIGHT:20px"type="password"m

weixin_39591455·2021-01-13 13:52

Python爬虫学习_直接使用Cookie绕过验证码登录页面

分析首先使用账号密码人工登陆百度BAIDUID和BDUSS找到Cookies信息中找到源码#author:LiuShihao#data:2021/1/125:32下午#youknow:各位老铁,我的这套代码曾经有人出价三个亿我没有卖,如今拿出来和大家分享,不求别的,只求大家免费的小红心帮忙点一点,这里谢过了。#desc:使用Cookie登陆百度fromseleniumimportwebdriver

Liu_Shihao·2021-01-12 17:22

Python爬虫学习( 一 )——请求和响应

Python爬虫学习(一)Web大致有三层客户端：访问远程网站；服务端：为网站和WebAPI提供数据；WebAPI和服务：用另一种不同于可视化网页的方式来交换数据。

锦荣z·2021-01-07 19:38

Python爬虫学习笔记-第十课(selenium上)

selenium上1.基本概念2.Phantomjs快速入门3.Chromedriver+selenium3.1快速入门3.2定位元素3.3操作表单元素3.4综合小练习1.基本概念selenium是⼀个web的自动化测试⼯具，最初是为网站自动化测试而开发的，selenium可以直接运行在浏览器上，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。seleni

tzr0725·2021-01-04 09:46

Python爬虫学习日志(1)

记录自己在学习python爬虫过程中的一些笔记和遇到的问题一些笔记XML一些特点与HTML的区别XML被设计为传输和存储数据，其焦点是数据的内容。HTML被设计用来显示数据，其焦点是数据的外观。XML文档中的元素形成了一棵文档树(节点树)。在XML中，省略关闭标签是非法的。XML的属性值须加引号在XML中，空格会被保留对于属于数据的数据应使用子元素而不是属性。数据本身应当存储为元素,描述数据的数据

Planeter_·2021-01-04 00:16

Python爬虫学习之scrapy框架（一）爬取豆瓣图书榜

Python爬虫学习之scrapy框架（一）爬取豆瓣图书榜资源链接Web+爬虫文章目录Python爬虫学习之scrapy框架（一）爬取豆瓣图书榜资源链接一.什么是Scrapy二.准备环境三.大致流程四.

JYKgl·2021-01-01 19:01

Python爬虫学习（一）--简单cookies爬取

Python爬虫urllib模块之cookie的简单爬取1.直接爬取（cookie显示在编译器中）：importhttp.cookiejar,urllib.requestcookie=http.cookiejar.CookieJar()#声明CookieJar对象handler=urllib.request.HTTPCookieProcessor(cookie)#构建Handleropener=u

X1m0·2021-01-01 15:18

header编码 python_python爬虫学习（三）：urllib的使用

urllib是python内置的一个可以使用url模块的软件包的集合。urllib.request打开和阅读URLsurllib.error包含urllib.request抛出的异常urllib.parse用于处理URLurllib.robotparser用于解析robots.txt文件1、urllib.request.urlopen()函数用于实现对目标url的访问，是urllib获取普通网页的

列蒂齐亚·2020-12-31 17:08

跟着菜鸟学python--流程控制及循环使用

微信公众号：流程控制语句if语句for语句for语句结合listfor语句结合strrange()函数break和continue语句，以及循环中的else子句breakcontinueelsepass语句if语句if语句中可以有零个或多个elif部分，以及一个可选的else部分。关键字‘elif’是‘elseif’的缩写，适合用于避免过多的缩进。一个if…elif…elif…序列可以看作是其他语

测试之禅·2020-12-31 16:15

跟着菜鸟学python--列表的更多特性

测试之禅·2020-12-28 11:15

python 贪心算法案例_python--利用贪心算法实现活动安排问题

贪心算法(GreedyAlgorithm)是指在求解目标问题的若干步骤中，每一步总是作出在当前看来是最好的选择，以期望获得问题的全局最优解。贪心算法的目标是要获得问题的最优解，为此在每一步总是选择当前情况下的最优策略。(是否能够得到最优解，需要通过证明来确定)看如下例题：题目说明使用贪心算法的前提是要按一定规则排序，当前有序序列的第一个元素一定进入最优解，由于活动具有三个属性(活动名称，开始时间，

weixin_39642990·2020-12-18 14:23

Python爬虫学习笔记-第四课(网络请求模块补充)

网络请求模块补充requests模块发送Post请求1.cookie2.处理不信任的SSL证书3.sessionrequests模块发送Post请求1.cookie通过在客户端记录的信息，确定用户身份。http是一种无连接协议，客户端和服务器交互仅限于请求/响应过程，结束后断开，下一次请求时，服务器会认为是一个新的客户端，为了维护彼此间的连接，让服务器知道这是前一个客户发起的请求，必须在一个地方保

tzr0725·2020-12-17 22:57

python爬虫学习笔记_Python爬虫学习笔记——信息组织和提取

YAML:信息无类型，文本信息比例最高，可读性好。(一)信息的标记标记后的信息可以形成信息组织结构，增加了维度;标记后的信息可以用于通信、存储或展示;标记的结构与信息一样具有重要的价值;1、XMLXML:最早的通用标记语言，可扩展性好，但是繁琐;Internet上的信息交互与传递;2、JSONJSON:信息有类型，适合程序处理，较XML简洁;移动应用云端和节点的信息通信，无注释;3、YAMLYAM

weixin_39759155·2020-12-14 03:07

二分法python算法_python--二分法算法

#二分法查找算法，必须处理有序的算法列表"""l=[2,3,5,10,15,16,18,22,26,30,32,35,41,42,43,55,56,66,67,69,72,76,82,83,88]deffind(l,aim):mid_index=len(l)//2ifl[mid_index]aim:new_l=l[:mid_index]find(new_l,aim)else:print("disc

weixin_39538607·2020-12-11 05:26

Python--字符串&列表&元组&字典

Python--字符串&列表&元组&字典数据类型字符串列表元组集合字典比较数据类型不可变数据类型在第一次声明赋值声明的时候,会在内存中开辟一块空间,用来存放这个变量被赋的值,而这个变量实际上存储的,并不是被赋予的这个值

劲节子·2020-12-10 22:05

推荐频道

python--爬虫学习