python-爬虫学习

Python大牛写的爬虫学习路线，分享给大家！

今天给大家带来我的python爬虫学习路线，供大家参考！
IT青年·2024-02-02 18:28

python-自动化篇-办公-文件-加解密

解说要使⽤Python进⾏⽂件的加密和解密，可以使⽤第三⽅加密库，如cryptography或pycryptodome。⼀个基本的⽰例，演⽰如何使⽤cryptography库对⽂件进⾏加密和解密：安装cryptography库：pipinstallcryptography⽂件加密：Encryption.pyfromcryptography.fernetimportFernet#⽣成加密密钥key=
only°夏至besos·2024-02-02 17:47

python-基础篇-异常

文章目录导图理论异常机制本质语法try...一个except结构try...多个except结构try...except...else结构try...except...finally结构return语句和异常处理问题with上下文管理trackback模块自定义异常类汇总常见异常的解决常见异常汇总导图理论异常机制本质异常指程序运行过程中出现的非正常现象，例如用户输入错误、除数为零、需要处理的文件不
fo安方·2024-02-02 13:04

python-分享篇-Turtle海龟-画图

文章目录背景颜色画圆太阳花树椭圆背景颜色importturtlepen=turtle.Turtle()turtle.Screen().bgcolor("blue")pen.color("cyan")foriinrange(10):foriinrange(2):pen.forward(100)pen.right(60)pen.forward(100)pen.right(120)pen.right(3
fo安方·2024-02-02 13:04

python-分享篇-贪吃蛇

文章目录代码效果代码"""贪吃蛇"""importrandomimportsysimporttimeimportpygamefrompygame.localsimport*fromcollectionsimportdequeSCREEN_WIDTH=600#屏幕宽度SCREEN_HEIGHT=480#屏幕高度SIZE=20#小方格大小LINE_WIDTH=1#网格线宽度#游戏区域的坐标范围SCOP
fo安方·2024-02-02 13:33

python-自动化篇-运维-实现读取日志文件最后一行的时间

文章目录1.使用Python打开日志文件2.python读取文件最后一行两种方式3.读取当前时间，进行两者相减，超时报警4.将内容推送到企业微信5.关闭日志文件整体代码1.使用Python打开日志文件在开始实时读取日志文件之前，我们首先需要打开一个日志文件。可以使用Python的内置函数open()来打开文件，并且还可以设置打开方式和编码方式。下面是打开一个日志文件并指定为只读模式的示例代码：lo
fo安方·2024-02-02 12:58

Python-算法与表达式

微信公众号-IT赶路人，专注分享与IT相关的知识，关注我，一起成就最好的自己！1.png算法和表达式是编程的灵魂，是与机器沟通的桥梁，准确的表达式能够准确的告诉计算机该做什么。算法我们在学编程的过程中，经常会听到身边的开发工程师，或者一些人在谈论，说设计一个算法去实现什么什么功能。对计算机了解不太深入的人，一听这个算法，觉得好高深。其实反过来想，当我们把问题想明白之后呢，你就觉得算法也是仅此而已，
IT赶路人·2024-02-02 12:45

爬虫学习：搜狗简易网页采集器

#搜狗简易网页采集器importrequests#请求参数动态化keyword=input('请输入关键字:')#如果请求失败，那就是模仿的力度不够，第一次我未加请求头中的headers,导致搜索404headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrom
unravel_tom·2024-02-02 11:40

爬虫学习：下厨房的菜谱搜索

#下厨房的菜谱搜索(多个请求参数)，注：只支持搜索功能，不具备多页爬取功能importrequests#请求头headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/121.0.0.0Safari/537.36Edg/121.0.0.0'}title=i
unravel_tom·2024-02-02 11:37

这么复杂的刻度标签怎么绘制？超简单~~

这个系列我会筛选出需求较多的一类图进行绘制讲解，当然，绘图的数据我们尽可能的全部分享出来(即使涉及一些论文数据，我们也会根据情况进行虚构处理的)，本期的推文重要涉及的知识点如下：Python-matplotlib定制化图例绘制Python
数据魅力(DataCharm)·2024-02-02 10:28

Python-构造函数、析构函数、__str__、__repr__

1.构造函数当创建一个对象时，一定会调用构造函数init方法,对实例化对象进行初始化操作。此时，我们可以在函数内部，进行初始化，如：属性的初始化。classPerson:def__new__(cls,name,age):print'__new__called.'returnsuper(Person,cls).__new__(cls)def__init__(self,name,age):self.n
葱花思鸡蛋·2024-02-02 09:16

python爬虫学习笔记之数据提取

参考博客：python爬虫学习笔记_fdk少东家的博客-CSDN博客1、XPath语法和lxml库1.01、什么是XPath?
py爱好者~·2024-02-01 07:03

python爬虫学习笔记之数据存储

参考博客：python爬虫学习笔记_fdk少东家的博客-CSDN博客1、json文件处理：1.01、什么是json：JSON(JavaScriptObjectNotation,JS对象标记)是一种轻量级的数据交换格式
py爱好者~·2024-02-01 07:03

python爬虫学习笔记之网络请求

参考博客：python爬虫学习笔记_fdk少东家的博客-CSDN博客'requests'库安装和文档地址：利用pip进行安装：pipinstallrequests中文文档：Requests:让HTTP服务人类
py爱好者~·2024-02-01 07:02

Python爬虫学习之scrapy库

一、scrapy库安装pipinstallscrapy-ihttps://pypi.douban.com/simple二、scrapy项目的创建1、创建爬虫项目打开cmd输入scrapystartproject项目的名字注意:项目的名字不允许使用数字开头也不能包含中文2、创建爬虫文件要在spiders文件夹中去创建爬虫文件cd项目的名字\项目的名字\spiderscdscrapy_baidu_09
蜀道之南718·2024-02-01 03:07

Python爬虫学习之requests库

目录一、requests的基本使用二、get请求三、post请求四、代理的使用五、cookie登录以及验证码图片识别一、requests的基本使用importrequestsurl='http://www.baidu.com'response=requests.get(url=url)#一个类型和六个属性#Response类型#print(type(response))#设置响应的编码格式resp
蜀道之南718·2024-02-01 03:36

Python爬虫学习之解析_jsonpath

一、jsonpath的基本使用importjsonimportjsonpathobj=json.load(open('json文件','r',encoding='utf-8'))ret=jsonpath.jsonpath(obj,'jsonpath语法')二、jsonpath语法e.g.importjsonimportjsonpathobj=json.load(open('jsonpath.jso
蜀道之南718·2024-02-01 03:36

python-科研绘图系列（6）-深度模型准确率，误差收敛曲线图；双坐标绘图；双坐标图例放置在一个框中；带95%置信区间的曲线图

1.绘制双坐标importmatplotlib.pyplotaspltimportnumpyasnpimportrefromscipyimportstatsax1=fig.add_subplot(1,1,iii)lns1=ax1.plot(mean[:long],color='darkblue',linewidth=2,linestyle='-',label='ZZZZAcc')##画准确率曲线a
好人就是拉风·2024-02-01 03:25

Python爬虫学习之requests库

目录一、requests的基本使用二、get请求三、post请求四、代理的使用五、cookie登录以及验证码图片识别一、requests的基本使用importrequestsurl='http://www.baidu.com'response=requests.get(url=url)#一个类型和六个属性#Response类型#print(type(response))#设置响应的编码格式resp
蜀道之南718·2024-01-31 10:18

Python爬虫学习之urllib库

目录一、urllib库的基本使用二、一个类型和六个方法三、用urllib下载1、下载网页2、下载图片3、下载视频四、urllib请求对象的定制1、url的组成https://www.baidu.com/s?wd=参数2、UA反爬五、编解码1、get请求方式之urllib.parse.quote()2、get请求方式之urllib.parse.urlencode()3、post请求方式六、ajax的
蜀道之南718·2024-01-31 10:48

Python爬虫学习之解析_xpath

一、xpath的基本使用（1）导入lxml.etreefromlxmlimportetree（2）etree.parse()解析本地文件tree=etree.parse('xpath的基本使用.html')print(tree)（3）etree.HTML()服务器响应文件html_tree=etree.HTML(content)（4）html_tree.xpath(xpath路径)二、xpath语
蜀道之南718·2024-01-31 10:48

python爬虫学习之解析_BeautifulSoup

目录一、bs4的基本使用（1）导入（2）创建对象二、节点定位1、根据标签名查找节点2、基本函数使用（1）find（2）find_all（3）select三、节点信息1、获取节点内容2、获取节点属性附：bs4的基本使用.html四、bs4的应用注：Python3.10+，使用BeautifulSoup时出现错误“AttributeError'collections'hasnoattribute'Ca
蜀道之南718·2024-01-31 10:48

爬虫学习笔记-Cookie登录古诗文网

1.导包请求importrequests2.获取古诗文网登录接口url='https://so.gushiwen.cn/user/login.aspxfrom=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'#请求头headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWe
DevCodeMemo·2024-01-31 10:13

爬虫学习笔记-handless的使用

1.封装handless函数#定义函数defshare_browser():#导包fromseleniumimportwebdriverfromselenium.webdriver.chrome.optionsimportOptionschrome_options=Options()chrome_options.add_argument('--headless')chrome_options.ad
DevCodeMemo·2024-01-31 10:13

爬虫学习笔记-requests的使用

get请求百度北京源码importrequestsurl='http://www.baidu.com/s?'headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/120.0.0.0Safari/537.36'}data={'wd':'北京'}respo
DevCodeMemo·2024-01-31 10:13

Python爬虫学习之selenium库

目录一、selenium库的基本使用二、selenium元素定位三、selenium元素信息四、selenium交互一、selenium库的基本使用#（1）导入seleniumfromseleniumimportwebdriver#（2）创建浏览器操作对象path='chromedriver.exe'browser=webdriver.Chrome(path)#(3)访问网站url='https:
蜀道之南718·2024-01-31 10:42

python爬虫学习之selenium_chrome handless的使用

目录一、Chromehandless简介二、Chromehandless的系统要求三、Chromehandless的基本配置（直接复制放在.py文件开头）四、Chromehandless的应用五、Chromehandless的封装一、Chromehandless简介Chromehandless模式，Google针对Chrome浏览器59版新增的一种模式，可以让你不打开UI界面的情况下使用Chrom
蜀道之南718·2024-01-31 10:42

爬虫学习笔记-selenium交互

1.导包fromseleniumimportwebdriverimporttimefromselenium.webdriver.common.byimportBy2.打开浏览器访问百度页面,睡眠2秒url='https://www.baidu.com'browser=webdriver.Chrome()browser.get(url)time.sleep(2)3.获取输入框,输入搜索的内容,睡眠2
DevCodeMemo·2024-01-31 10:10

python-自动化篇-运维-可视化-绘图库-matplotlib

文章目录Matplotlibmatplotlib开发环境搭建绘制基础绘制直线绘制折线设置标签文字和线条粗细绘制一元二次方程的曲线y=x^2绘制正弦曲线和余弦曲线散点图绘制柱状图绘制饼状图绘制直方图等高线图绘制三维图MatplotlibMatplotlib是一个Python的2D绘图库。通过Matplotlib，开发者可以仅需要几行代码，便可以生成绘图，直方图，功率谱，条形图，错误图，散点图等。通过
fo安方·2024-01-31 09:54

python-分享篇-使用MD5或SHA1等算法对用户密码进行加密

文章目录代码效果代码'''对用户密码进行MD5或者SHA加密'''importhashlibstr=input('请输入要加密的字符串：')#MD5加密（返回32位16进制表示字符串）md5=hashlib.md5()md5.update(str.encode('utf-8'))print('MD5加密:',md5.hexdigest())#SHA1加密（返回40位16进制表示字符串）sha1=h
fo安方·2024-01-31 09:54

python-自动化篇-运维-监控-Python如何与Prometheus集成？

要将Python与Prometheus集成，可以使⽤Prometheus提供的客⼾端库来公开指标（metrics）供Prometheus采集。Prometheus是⼀个开源的监控和警报⼯具，⽀持多种数据采集⽅式，其中之⼀是通过HTTP端点公开指标。以下是⼀些步骤，演⽰如何使⽤Python与Prometheus集成：安装PrometheusPython客⼾端库：⾸先，需要安装PrometheusPy
fo安方·2024-01-31 09:15

【Django自学】Django入门：如何使用django开发一个web项目（非常详细）

python-
奔跑的梅花Lu·2024-01-31 06:48

python- while的几种用法

##关于while循环的思考prompt="\nTellmesomething,andiwillrepeatitbacktoyou"prompt+="\nEnter'quit'toendtheprogram."message=""whilemessage!='quit':message=input(prompt)print(message)  上面的程序，用户在输入quit后，随人可以退出循环，但
external123·2024-01-30 07:46

爬虫学习笔记-post请求获取翻译详情

1.导入爬虫需要使用的包importurllib.requestimporturllib.parse2.定义url如图查看请求urlurl='https://fanyi.baidu.com/v2transapi?from=en&to=zh'3.定义请求头查看preview带有数据的请求接口,复制headers中requestheaders所有内容,格式如下:headers={'Accept':'*
DevCodeMemo·2024-01-30 03:44

爬虫学习笔记-站长素材网站图片下载

1.导入必要的模块：-`urllib.request`：用于发送HTTP请求和获取响应。-`urllib.parse`：用于解析URL。-`lxml.etree`：用于解析HTML内容。2.创建一个`create_request`函数该函数接受一个参数`page`表示页面编号。根据`page`的值，构造相应的URL，并设置请求头信息。3.创建一个`get_content`函数该函数接受一个参数`r
DevCodeMemo·2024-01-30 03:14

python-自动化篇-运维-监控-如何使⽤Python处理和解析⽇志⽂件？-实操记录

文章目录1.选择日志文件格式：确定要处理的日志文件的格式。不同的日志文件可能具有不同的格式，如文本日志、CSV、JSON、XML等。了解日志文件的格式对解析⾮常重要。2.打开日志文件：使⽤Python的文件操作功能打开日志文件，以便读取其中的内容。可以使⽤open()函数来打开文件并创建⼀个文件对象。3.逐行读取日志内容：通常，会逐行读取日志文件内容，以便分析每⼀行的日志信息。这可以使⽤循环来实现
fo安方·2024-01-29 18:21

python-自动化篇-运维-语音识别

文章目录理论文本转换为语音使用pyttsx使用SAPI使用SpeechLib语音转换为文本代码和效果01使用pyttsx实现文本_语音02使用SAPI实现文本_语音03使用SpeechLib实现文本_语音04使用PocketSphinx实现语音转换文本理论语音识别技术，也被称为自动语音识别，目标是以电脑自动将人类的语音内容转换为相应的文字和文字转换为语音。文本转换为语音使用pyttsx使用名为py
fo安方·2024-01-29 18:51

python-自动化篇-办公-文件-加解密

解说要使⽤Python进⾏⽂件的加密和解密，可以使⽤第三⽅加密库，如cryptography或pycryptodome。⼀个基本的⽰例，演⽰如何使⽤cryptography库对⽂件进⾏加密和解密：安装cryptography库：pipinstallcryptography⽂件加密：fromcryptography.fernetimportFernet#⽣成加密密钥key=Fernet.genera
fo安方·2024-01-29 18:50

python-自动化篇-运维-监控-简单实例-道出如何使⽤Python⾃动化数据库备份？

使⽤Python⾃动化数据库备份是⼀种有效的⽅式，可以确保数据库数据的安全性和可恢复性。以下是⼀般步骤，说明如何使⽤Python⾃动化数据库备份：选择数据库备份⼯具：⾸先，选择适合数据库类型的备份⼯具。不同的数据库系统有不同的备份⽅法，以下是⼀些常⻅数据库类型以及相应的备份⼯具：（1）MySQL：使⽤mysqldump⼯具或mysqlbackup⼯具进⾏备份。（2）PostgreSQL：使⽤pg_
fo安方·2024-01-29 17:49

python-数据类型

目录一、空对象None二、与数据类型有关的函数1.type()2.bool()3.内置数字函数及math库4.高精：decimal.Decimal(str)每次都写decimal.Decimal太麻烦，改进：三、数据类型1.列表列表的特点操作列表的方法2.元组定义单个元素与列表区别：不可修改操作方法：应用：3.字符串操作方法：4.序列的切片5.集合定义集合：集合特点：集合操作方法：6.字典特点：定
zhy0319·2024-01-29 01:13

python-基本程序控制-print()函数

目录1.print（）自带换行2.打印字符串3.print('char'*n)循环打印字符4.多变量在一行输出，间隔符默认为空格5.多变量在一行输出，修改默认间隔符（空格）6.强制一行输出7.数字的格式化输出（1）控制小数位数（2）输出千位分隔符（3）输出固定宽度的数值总结：数字的格式化输出公式：8.help(print)了解更多1.print（）自带换行2.打印字符串print(str)注意事项
zhy0319·2024-01-29 01:42

Python-数据可视化-动态展示柱状图

一、基础柱状图1.通过Bar()构建一个柱状图对象2.和折线图一样，通过add_xaxis()和add_yaxis()添加x和y轴数据，通过柱状图对象的：reversal_axis()，还可以反转x和y轴3.通过label_opts=LabelOpts(position="right")设置数值标签在右侧显示二、基础时间线柱状图1.什么是时间线？Timeline()-时间线柱状图描述的是分类数据，
a1316454554·2024-01-28 16:46

[Python-贪心算法]

贪心算法贪心算法的本质是从每个阶段的局部最优推出全局最优，而且没有固定的算法套路，需要我们手动模拟，如果感觉可以用贪心算法那么就直接冲。贪心算法一般分为如下四步：将问题分解为若干个子问题找出适合的贪心策略求解每一个子问题的最优解将局部最优解堆叠成全局最优解贪心算法只有多见题，多做题才能在遇到问题的时候快速找到做题思路，多说无益，直接开始练习。455.分发饼干假设你是一位很棒的家长，想要给你的孩子们
靠米菜勾·2024-01-28 13:20

[Python-链表刷题]移除链表元素、设计链表

203.移除链表元素移除链表元素给你一个链表的头节点head和一个整数val，请你删除链表中所有满足Node.val==val的节点，并返回新的头节点。示例1：输入：head=[1,2,6,3,4,5,6],val=6输出：[1,2,3,4,5]示例2：输入：head=[],val=1输出：[]示例3：输入：head=[7,7,7,7],val=7输出：[]提示：列表中的节点数目在范围[0,104
靠米菜勾·2024-01-28 13:50

[Python-链表刷题]环形链表 II

142.环形链表II给定一个链表的头节点head，返回链表开始入环的第一个节点。如果链表无环，则返回null。如果链表中有某个节点，可以通过连续跟踪next指针再次到达，则链表中存在环。为了表示给定链表中的环，评测系统内部使用整数pos来表示链表尾连接到链表中的位置（索引从0开始）。如果pos是-1，则在该链表中没有环。注意：pos不作为参数进行传递，仅仅是为了标识链表的实际情况。不允许修改链表。
靠米菜勾·2024-01-28 13:50

[Python-栈与队列]

20.有效的括号给定一个只包括'('，')'，'{'，'}'，'['，']'的字符串s，判断字符串是否有效。有效字符串需满足：左括号必须用相同类型的右括号闭合。左括号必须以正确的顺序闭合。每个右括号都有一个对应的相同类型的左括号。解题思路可以先模拟一下匹配的过程，每当有一个左括号出现时，有效的字符串中在后面肯定会有一个对应的右括号，因此我们可以用栈来实现这个过程。对字符串进行遍历操作，每遍历到一个
靠米菜勾·2024-01-28 13:50

[Python-动态规划]

动态规划动态规划步骤总结：1.确定dp数组以及下标的含义2.确定递推公式3.dp数组初始化4.确定遍历顺序5.举例推导dp数组，看是否与打印出的dp数组相同509.斐波那契数斐波那契数（通常用F(n)表示）形成的序列称为斐波那契数列。该数列由0和1开始，后面的每一项数字都是前面两项数字的和。也就是：F(0)=0，F(1)=1F(n)=F(n-1)+F(n-2)，其中n>1给定n，请计算F(n)。解
靠米菜勾·2024-01-28 13:50

[Python-字符串]

344.反转字符串编写一个函数，其作用是将输入的字符串反转过来。输入字符串以字符数组s的形式给出。不要给另外的数组分配额外的空间，你必须原地修改输入数组、使用O(1)的额外空间解决这一问题。解题思路题目要求是原地操作的话，就直接用一个中介变量temp交换即可，代码如下。classSolution:defreverseString(self,s:List[str])->None:foriinrang
靠米菜勾·2024-01-28 13:20

[Python-贪心算法]

135.分发糖果n个孩子站成一排。给你一个整数数组ratings表示每个孩子的评分。你需要按照以下要求，给这些孩子分发糖果：每个孩子至少分配到1个糖果。相邻两个孩子评分更高的孩子会获得更多的糖果。请你给每个孩子分发糖果，计算并返回需要准备的最少糖果数目。解题思路题目的要求是相邻两个孩子中评分更高的孩子会获得更多的糖果，这也就是说我们需要双边比较，有点像前面的求峰值点数。但是这道题让我们统计的是糖果
靠米菜勾·2024-01-28 13:49

Python-打印区间内的质数

defPrime_number(num):foriinrange(2,num+1):#设置一个空集合，集合有去重的功能set1=set()forjinrange(2,i):#用i除以除开1和本身的其他数值j取余,如果余数不等于零则返回truex=(i%j!=0)#将取余数不等于0的结果放到集合中set1.add(x)#通过判断集合的长度判断i是否为质数，当i=2时，2/2取余不等于0为false，
ITBOBY·2024-01-28 12:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他