python-爬虫学习第15页

爬虫学习+实战

爬虫概念：网络爬虫：就是模拟客户端发送请求，获取响应数据，一种按照一定的规则，自动地抓取万维网上的信息的程序或者脚本爬虫分类:通用爬虫：抓取系统中重要的组成部分。抓取的是一整张页面数据聚焦爬虫：建立在通用爬虫的基础上，抓取的是页面中特定的局部内容。增量式爬虫：检测网站中数据更新的情况，只会抓取网站中最新更新的数据爬虫的矛与盾：反爬机制：门户网站，通过制定相关的策略或技术手段，防止爬虫程序对网站数据

银晗·2023-10-10 12:26

python round保留小数位_Python-其他-round()保留小数位时遇到的问题

最近有一个需求，原有整数计算，改成小数计算，保留一位小数。于是按照需求，将数据结构由int改为float，计算时采用round()方法来保留小数位。第一版代码如下：a=0.1000001b=round(a+0.1,1)c=0c+=round(a,1)复制代码修改完成后进行测试，多次测试过程中发现，b结果正确，但c明明已经使用了round(a,1)保留一位小数，但最后的结果会出现0.30000000

weixin_39561431·2023-10-10 09:39

《流畅的Python》及Python自学笔记

学习课程：流畅的Python-木易可3小时快速入门Python北京理工大学Python语言程序设计使用书籍：《流畅的Python》流畅的Python代码实例：《流畅的Python》第1章Python数据模型

sdguy_nobody·2023-10-10 07:00

Python爬虫学习笔记

文章目录爬虫爬虫在使用场景中的分类字符集问题第一个爬虫Web请求全过程Http协议Requests入门数据解析re模块bs4解析xpathrequests进阶概述处理cookie防盗链代理爬虫提速多线程多进程线程池和进程池协程aiohttpseleniumselenium操作1、抓取数据2、窗口切换3、无头浏览器验证码图像识别！验证码破解工具程序被识别到了怎么办？爬虫爬虫在使用场景中的分类通用爬虫

愤怒且自私22·2023-10-10 06:05

2023-10-09 python-使用psd_tools-读取psd信息及导出图层图片-记录

摘要:2023-10-09python-使用psd_tools-读取psd信息及导出图层图片-记录相关文档:Usage—psd-tools1.9.28documentation读取psd的信息:py代码:frompsd_toolsimportPSDImagepsd=PSDImage.open('example.psd')#psd=PSDImage.open('one.psd')print(psd)

财阀悟世·2023-10-10 03:14

【无标题】

【小白从小学Python、C、Java】【计算机等级考试+500强双证书】【Python-数据分析】使用frozenset函数创建一个只读集合选择题问题：以下哪个选项正确地描述了Python中的frozenset

刘经纬老师·2023-10-10 00:32

将序列b的元素按照序列a的索引顺序重新排列

【小白从小学Python、C、Java】【计算机等考+500强证书+考研】【Python-数据分析】将序列b的所有元素按照序列a的索引顺序进行重新排列[太阳]选择题关于以下代码的说法中正确的是?

刘经纬老师·2023-10-10 00:27

Python-将常用库写入到一个Python程序里面，后续使用直接导入这个文件即可，就相当于导入了所有的库，就不用每次都写一堆的import了

sys.path.append(r'D:\Backup\Documents')#上方代码中的这一句是我的常用库所在的文件路径当然，文件名建议写英文（比如：Common_use_lib.py），不要写：常用库...我这里只是演示使用，方便理解==||

STR_Liang·2023-10-09 14:15

Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱

注：本文转自“我爱自然语言处理”：www.52nlp.cn原文链接地址：http://www.52nlp.cn/python-网页爬虫-文本处理-科学计算-机器学习-数据挖掘在网上看到这篇文章觉得很有用

勤奋的清风·2023-10-09 12:18

[Python-设计模式] 设计模式基础

什么是设计模式？设计模式是软件设计中常见问题的典型解决方案。它们就像能根据需求进行调整的预制蓝图，可用于解决代码中反复出现的设计问题。设计模式与方法或库的使用方式不同，你很难直接在自己的程序中套用某个设计模式。模式并不是一段特定的代码，而是解决特定问题的一般性概念。你可以根据模式来实现符合自己程序实际所需的解决方案。模式包含哪些内容？模式的描述通常会包括以下部分：意图部分简单描述问题和解决方案。动

紫藤lvy·2023-10-09 10:52

Python-创建虚拟环境并指定环境目录

1.简介程序运行依赖于环境，不同程序依赖的环境不尽相同。如果一个项目依赖于一个第三方库的1.0版本，另一个项目依赖于这个第三方库的2.0版本，在一个python环境中一个库只能同时存在一个版本，所以就产生了版本冲突。虚拟环境就是为了使每个项目或者程序拥有独立的运行环境。2.使用virtualenv 用来创建虚拟环境的第三方库。命令：pipinstallvirtualenvvirtualenvw

DG丶·2023-10-08 21:23

最佳买卖股票时机含冷冻期python-动态规划篇

题目给定一个整数数组prices，其中第prices[i]表示第i天的股票价格。设计一个算法计算出最大利润。在满足以下约束条件下，你可以尽可能地完成更多的交易（多次买卖一支股票）:卖出股票后，你无法在第二天买入股票(即冷冻期为1天)。注意：你不能同时参与多笔交易（你必须在再次购买前出售掉之前的股票）。示例1:输入:prices=[1,2,3,0,2]输出:3解释:对应的交易状态为:[买入,卖出,冷

苏钟白·2023-10-08 17:10

6 爬虫学习之Selenium

一、selenium的介绍Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium可以直接调用浏览器，它支持所有主流的浏览器，可以接受指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。1、selenium运行效果展示importtimefromseleniumimportwebdriver#创建浏览器对象driver=webdriver.Chrome

爱划水的小白·2023-10-08 11:23

python中导入模块用什么命令_Python-模块分类及导入

使用python时，我们会发现经常需要import一些模块。模块其实就是一个python文件，导入模块的实质是把模块中的内容执行一次。例如，有个模块叫mokuai,我们可以这样导入frommokuaiimport*#导入所有的内容frommokuaiimporta#从import中导入a建议使用第二种写法，这样代码一旦出问题，容易定位。另外，下面两种写法实现的功能相同。第一种：importmoku

weixin_39639049·2023-10-07 21:05

e为底数的指数运算e^x，math.exp(x)

【小白从小学Python、C、Java】【计算机等考+500强证书+考研】【Python-数据分析】e为底数的指数运算e^xmath.exp(x)选择题关于以下代码的说法中正确的是？

刘经纬老师·2023-10-07 09:34

Python-以逗号分割字符串且忽略引号中的逗号

Python-以逗号分割字符串且忽略引号中的逗号要处理的问题我们在读入txt、csv等数据时，经常会需要根据列名将读入的字符串进行分割。

Where-·2023-10-07 02:26

计算数组中全部元素的乘积忽略数组中所有的NaN值 numpy.nanprod()

【小白从小学Python、C、Java】【计算机等级考试+500强双证书】【Python-数据分析】计算数组中全部元素的乘积忽略数组中所有的NaN值numpy.nanprod()[太阳]选择题请问代码中最后输出正确的是

刘经纬老师·2023-10-06 11:09

多个浮点数精确求和math.fsum()

【小白从小学Python、C、Java】【计算机等考+500强证书+考研】【Python-数据分析】多个浮点数精确求和math.fsum()选择题执行结果输出为1.0的函数是?

刘经纬老师·2023-10-06 11:09

分别对数组中各元素乘以相同的指定值numpy.multiply()

【小白从小学Python、C、Java】【计算机等考+500强证书+考研】【Python-数据分析】分别对数组中各元素乘以相同的指定值numpy.multiply()[太阳]选择题使用numpy包中的函数进行数组操作

刘经纬老师·2023-10-06 11:08

笨方法学Python-习题20-函数和文件

在接触函数之前，我们一起学习了关于文件的一些操作，下面这道习题就是要把文件操作和函数结合起来。请看源码：#!/usr/bin/envpython3#-*-coding:utf-8-*-fromsysimportargvscript,input_file=argvdefprint_all(f):print(f.read())defrewind(f):f.seek(0)defprint_a_line(

Python探索之路·2023-10-06 06:19

Python-爬虫实战练习

爬虫前期准备01爬虫就是模拟浏览器抓取东西，爬虫三部曲：数据爬取、数据解析、数据存储数据爬取：手机端、pc端数据解析：正则表达式数据存储：存储到文件、存储到数据库02.相关python库爬虫需要两个库模块：requests和re1.requests库requests是比较简单易用的HTTP库，相较于urllib会简洁很多，但由于是第三方库，所以需要安装，文末附上安装教程链接（链接全在后面，这样会比

芝麻小叮当·2023-10-06 03:26

python-数据的基本输入(1)

python-数据的基本输入(1)转载请标明出处文章目录python-数据的基本输入(1)input()函数input()与基本数据类型的结合python的输入缓冲区问题(选读)当谈到Python中的输入和输出时

乒铃乓啷的菠萝吹雪·2023-10-06 00:46

python爬虫模式_python爬虫学习笔记（2）-----代理模式

一、UserAgentUserAgent中文意思是用户代理，简称UA，它是一个特殊字符串头，使得服务器能够识别用户设置UA的两种方式：1、heads1fromurllibimportrequest,error2if'__name__'=='__main__':3url="http://www.baidu.com"4try:5headers={}6headers['User-Agrnt']="Use

weixin_39588252·2023-10-05 20:53

Python-异常处理（ try-except ）

1介绍如下图，在程序运行过程中，经常会因为异常导致退出，比如FileNotFoundError，ZeroDivisionError，ValueError等，这些异常可以通过编写代码处理异常提示错误，并且让程序继续运行。每当Python运行发生错误时，都会创建异常对象，针对这些异常对象，通过try-except代码块让Python执行指定的操作，同时告诉Python接下来该怎么办，而不会直接退出程序

qq_41955225·2023-10-04 16:35

python- 面试题

"""str1="afjndslfndslkff"对每个元素记数，然后输出最大，最小的元素"""#字符串str1="afjndslfndslkff11"#去重set1=set(str1)#生成字典，k是元素，value是个数dict1={i:str1.count(i)foriinset1}##在字典内通过value排序sorted_dict=dict(sorted(dict1.items(),ke

XuMeng_first·2023-10-04 05:55

正则表达式模块re

【小白从小学Python、C、Java】【计算机等级考试+500强双证书】【Python-数据分析】正则表达式模块re[太阳]选择题下列程序输出的结果是？

刘经纬老师·2023-10-03 12:49

对比两个数组中每个对应位置的元素大小返回每个对比结果组成的列表 numpy.fmin()

【小白从小学Python、C、Java】【计算机等级考试+500强双证书】【Python-数据分析】对比两个数组中每个对应位置的元素大小返回每个对比结果组成的列表numpy.fmin()[太阳]选择题请问代码中最后输出正确的是

刘经纬老师·2023-10-03 12:19

对比两个Series序列中的元素是否不相等，并以Series格式返回结果

【小白从小学Python、C、Java】【计算机等考+500强证书+考研】【Python-数据分析】逐一对比两个Series序列中元素是否不相等，将结果以Series格式返回[太阳]选择题关于以下代码的说法中正确的是

刘经纬老师·2023-10-03 12:15

python-网络编程-05-协程

学习博文-python并发编程之协程，学习博文-Python40协程，学习博文-协程与异步IO,Python协程协程协程，又称微线程，纤程，英文名Coroutine。协程的作用，是在执行函数A时，可以随时中断，去执行函数B，然后中断继续执行函数A（可以自由切换）。但这一过程并不是函数调用（没有调用语句），这一整个过程看似像多线程，然而协程只有一个线程执行。通常在Python中我们进行并发编程一般都

梁正雄·2023-10-03 04:42

python-多进程编程（二）-- 进程锁、信号量

一、进程锁我们有时候会遇到这样的情况，当有100个线程同时去操作一个文件或者修改一个数据的时候，会发生什么呢？我们来看一下下面的例子fromtimeimportsleepfromthreadingimportThreadclassAccount(object):def__init__(self):self._balance=0defdeposit(self,money):#计算存款后的余额new_

HYJ0101·2023-10-02 21:07

Python-指定关键字，在当前文件夹中.txt文件中递归搜索，并显示文件路径，关键词所在行数及位置

思路整理：1.首先指定当前路径，然后利用iterdir()方法获取当前路径下所有的子文件和子文件夹2.如果是子文件，要判断其是否为txt文件如果是txt文件，迭代读取将每一行放在一个空列表中在每一个txt文件对应的列表中依次检索关键词位置3.如果是子文件夹，则把当前路径重新赋值，定位到子文件夹中，然后递归搜素即可代码实现frompathlibimportPathdefsearchstr(targe

我是菜鸟www·2023-10-02 19:29

python-解决selenium拖拽元素不生效的问题

场景：需要将左侧菜单栏的元素拖拽到右侧画布上思路：定位到左侧的RDS抽取元素，通过ActionChains的drag_and_drop_by_offset方法将元素拖拽到指定坐标位置问题：核心代码如下：rds_ele=driver.find_element_by_xpath('//div[@role="tablist"]/div[1]/div[2]/div/div/div[1]')ActionCh

sun_977759·2023-10-02 08:35

CTF-python爬虫学习笔记

学习链接【Python+爬虫】爆肝两个月！拜托三连了！这绝对是全B站最用心（没有之一）的Python+爬虫公开课程，从入门到（不）入狱！。知识1.1出现错误复制红框中的内容去查找1.2打印(1)字符串连接ptint(“6”+“lks”)(2)单双引号转义print("6\“lks”)(3)换行print(“6\nlks”)(4)三引号跨行字符串print(“”“6lkslks”“”)1.3注释单行

小蜗牛狂飙记·2023-10-02 02:47

爬虫学习笔记（五）--抓取数据

对网页信息的抓取。一.常用的用是re，BeautifulSoup以及lxml。其中re，lxml速度快。re比较复杂，当页面发生变化时正则表达式还需修改。BeautifulSoup比较简单，但是速度慢。lxml+cssselect速度快，也比较简单，可以说是集合了re和BeautifulSoup的优点。二.用lxml来抓取网站信息1.以一个网站为例：抓取面积信息url='http://exampl

不_初心·2023-10-01 13:10

python-迭代器、生成器

迭代器迭代是Python最强大的功能之一，是访问集合元素的一种方式。迭代器是一个可以记住遍历的位置的对象。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。迭代器有两个基本的方法：iter()和next()。字符串，列表或元组对象都可用于创建迭代器：实例(Python3.0+)>>>list=[1,2,3,4]>>>it=iter(list)#创建迭代器对象

少女萌的进击之路·2023-09-30 22:11

python-字符串与序列

1.字符串·python常用的转义字符转义字符:\(反斜杠-可以打印出一个反斜杠)转义字符:’（单引号-可以打印出一个单引号）转义字符:"(双引号-可以打印出一个双引号)转义字符:\a(响铃-用于触发系统蜂鸣器)转义字符:\n(换行符-将光标移动到下一行的开头)转义字符:\t(水平制表符-将光标向右移动一个制表符位)转义字符:\r(回车)·原始字符串只需要在字符串前面加一个r就可以了，但是不能以\

韩绘锦·2023-09-30 20:50

python-笔记 PySimpleGUI 图形界面-1 各种控件整理

使用前必须先安装PySimpleGUIhttps://pysimplegui.readthedocs.io/en/latest/cookbook/#2020-updates-are-in-progresspipinatallPySimpleGUI由于官网没有中文教程只能自己看看别人的项目和官方的文档由于PySimpleGUI是个人维护，不过开发得比较完善了官网文档没有中文基本看不懂，只能一边看原文

小关㊣·2023-09-30 17:21

python-匿名函数lambda表达式

简介对于单行函数，为了避免函数定义的繁琐，可以使用lambda表达式。优点：使代码更加简洁对于不频繁使用的函数，运用lambda表达式，可以在使用完表达式后立即释放内存，提高代码性能。lambda表达式定义：lambda入参：表达式实例print((lambdax,y:x**y)(2,3))//输出为8orpower=lambdax,y:x**y//输出为8power(2,3)

智齿_93fa·2023-09-30 17:43

利用python 正则读取txt文件中指定字符之间的数据,并保存到excel中

利用python-正则读取txt文件中指定字符之间的数据,并保存到excel中需求:代码:结果:需求:从txt文件中读取特定的数据(数据有多组)数据:[appruntime：][TPS:]后面的数据并把数据保存到

洛星尘pro·2023-09-30 14:22

Python-字符串格式化

python字符串格式化字符串的格式化使用f字符串使用format使用%运算符字符串的格式化在python3中有三种格式化方式1.使用占位符格式化2.使用format格式化3.使用f-String格式化使用f字符串允许在字符串中嵌入Python表达式，并在字符串中使用变量名。要创建一个f字符串，请在字符串前面添加“f”并在字符串中使用花括号来引用变量名或表达式。name="sctl"age=8st

哈密猿·2023-09-30 14:19

python-装饰器

目录一、装饰器介绍1.为何要用装饰器2.什么是装饰器二、装饰器的实现1.无参装饰器的实现1.1.装饰器的简易版本1.2.使用语法糖实现1.3.装饰器模板1.4.双层语法糖1.5.多层语法糖1.6.装饰器修复技术（了解）1.7.装饰器之登录认证功能2.有参装饰器的实现一、装饰器介绍1.为何要用装饰器Python中的装饰器是一种语法糖，可以在运行时，动态的给函数或类添加功能。装饰器本质上是一个函数，使

王献运·2023-09-30 07:05

对比两个Series序列中的元素大小，并以Series格式返回结果

【小白从小学Python、C、Java】【计算机等考+500强证书+考研】【Python-数据分析】逐一对比两个Series序列中每个元素的大小，将结果以Series的形式返回[太阳]选择题关于以下代码的说法中正确的是

刘经纬老师·2023-09-30 04:46

计算数据框DataFrame每行(列)非缺失值的总数量dataframe.count()

【小白从小学Python、C、Java】【计算机等考+500强证书+考研】【Python-数据分析】计算数据框DataFrame每行(列)非缺失值的总数量dataframe.count()[太阳]选择题以下说法错误的是

刘经纬老师·2023-09-30 04:46

计算协方差矩阵df.cov()

【小白从小学Python、C、Java】【计算机等考+500强证书+考研】【Python-数据分析】计算协方差矩阵df.cov()[太阳]选择题下列选项对代码运行结果描述错误的是？

刘经纬老师·2023-09-30 03:16

Python-二分查找算法bisect模块

目录简介方法二分查找目标值区间左侧目标值区间右侧插入【可不学】目标值区间左侧目标值区间右侧参考简介方法二分查找目标值区间左侧bisect_left(a,x,lo=0,hi=len(a))在a中找到x合适的插入点以维持有序。参数lo和hi可以被用于确定需要考虑的子集；默认情况下整个列表都会被使用。如果x已经在a里存在，那么插入点会在已存在元素之前（也就是左边）。如果a是列表（list）的话，返回值是

lady_killer9·2023-09-30 02:50

[Python-设计模式] 结构型模式- 适配器模式

适配器模式适配器模式是一种结构型设计模式，它能使接口不兼容的对象能够相互合作。适配器模式结构对象适配器实现时使用了构成原则：适配器实现了其中一个对象的接口，并对另一个对象进行封装。所有流行的编程语言都可以实现适配器。客户端（Client）是包含当前程序业务逻辑的类。客户端接口（ClientInterface）描述了其他类与客户端代码合作时必须遵循的协议。服务（Service）中有一些功能类（通常来

紫藤lvy·2023-09-30 01:44

Python-玩转数据-pycharm使用

Python-玩转数据-pycharm使用pycharm是进行python程序开发一个很不错的IDE。1、pycharm的下载安装上节已经介绍，略过。

人猿宇宙·2023-09-29 08:47

python-切换镜像源和使用PyCharm进行第三方开源包安装

文章目录前言python-切换镜像源和使用PyCharm进行第三方开源包安装1.切换镜像源2.使用PyCharm进行第三方开源包安装前言如果您觉得有用的话，记得给博主点个赞，评论，收藏一键三连啊，写作不易啊

栗子~~·2023-09-29 08:15

Python3爬虫学习——urlib库笔记

Python3爬虫学习——urllib库前言本笔记仅个人认知和见解，水平有限，还请见谅。内容大多来自Python文档和学习材料，作相应的扩充或压缩后的笔记。

甲寅Emore·2023-09-28 13:31

网络爬虫学习笔记 1 HTTP基本原理

HTTP原理~~~~~HTTP（HyperTextTransferProtocol，超文本传输协议）是一种使用最为广泛的网络请求方式，常见于在浏览器输入一个地址。1.URI和URLURL（UniversalResourceLocator，统一资源定位器）URI（UniformResourceIdentifier，统一资源标识符）URL是URI的子集，URI还包括一个子类URN（UniversalR

锋锋的快乐小窝·2023-09-28 07:01

推荐频道

python-爬虫学习