python--爬虫学习

Python--正则表达式

1.日志打印与终端颜色控制1.1使用loguru打印日志fromloguruimportloggerlogger.debug("调试信息")logger.info("普通信息")logger.warning("警告信息")logger.error("错误信息")logger.success("成功信息")1.2终端颜色控制（Colorama）Colorama库用于控制终端输出的颜色和样式。字体颜色
索然无味io·2025-02-18 15:13

python--蓝桥杯--KMP算法

解决字符串匹配问题，暴力的解法非常简单，只要枚举文本串的起始位置i，然后逐位匹配，失配时，i+1，即可。但是暴力法的时间复杂度为O(nm)，当n，m比较大时，难以接受。下面介绍的KMP算法，时间复杂度O(n+m)。它是由Knuth、Morris、Pratt这3位科学家共同发现的，这也是KMP名字的由来。next数组在正式进入KMP算法之前，先来学习一个重要的数组。现在定义一个int型数组next，
shutu__020917·2025-02-14 16:21

爬虫学习--1.前导知识

初始爬虫前言引入随着大数据时代的来临，网络爬虫在互联网中的地位将越来越重要。互联网中的数据是海量的，如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而生的。我们感兴趣的信息分为不同的类型：如果只是做搜索引擎，那么感兴趣的信息就是互联网中尽可能多的高质量网页；如果要获取某一垂直领域的数据或者有明确的检索需求，那么感兴趣的信息就是根据我们的检索和需
F——·2025-02-07 19:14

爬虫学习--14.进程与线程

什么是进程？电脑中时会有很多单独运行的程序，每个程序有一个独立的进程，而进程之间是相互独立存在的。比如下标中的QQ播放器、小鹅通等等。什么是线程？进程可以简单的理解为一个可以独立运行的程序单位，它是线程的集合，进程就是有一个或多个线程构成的。而线程是进程中的实际运行单位，是操作系统进行运算调度的最小单位。可理解为线程是进程中的一个最小运行单元。什么是多进程?同理，多进程就是指计算机同时执行多个进程
F——·2025-02-07 19:14

python--位运算

classBit():def__init__(self,word:int):''':paramword:0-65535'''self.word=worddefget(self,postion:int)->bool:w=self.word&1None:''':parampostion:位索引范围0-15:paramvalue:TrueorFalse:return:None'''ifvalue:sel
weixin_49577420·2025-02-07 12:28

python电影评价分析_用 Python 分析豆瓣电影 TOP250

Python分析豆瓣电影TOP250既然要分析豆瓣电影TOP250,那么肯定就要把相关的数据采集下来,比如排名,电影名,导演,主演等信息.那就肯定使用一下爬虫咯,如果还不会的话,欢迎看之前的文章:Python爬虫学习
weixin_39806413·2025-02-05 22:36

Python--打包成可执行程序--cx_freeze模块

Python文件打包成可执行文件（EXE，MSI文件）说明:不一样的程序打包，代码不能完全一致。1、在跟打包文件同一目录下建立一个setup.py文件，大致代码如下：代码：importsysimportos.pathfromcx_Freezeimportsetup,ExecutablePYTHON_INSTALL_DIR=os.path.dirname(os.path.dirname(os.__f
"淡淡的忧伤"·2025-02-04 19:47

Python爬虫学习——爬取小说章节

之前学了Python好久都没有用，感觉再不继续学就要忘了。。。赶紧再挖个坑继续学习。这个部分会用Python去做爬虫来进行学习，巩固python的知识。爬虫的教程看的是Jack-Cui大佬的文章。这一次是跟着大佬学习：Python3网络爬虫（二）：下载小说的正确姿势（2020年最新版）_Jack-Cui-CSDN博客练习-爬取章节前面的爬虫基础部分就看大佬的上一篇博文，讲的非常棒：Python3网
一大块肥皂·2025-02-04 14:39

手机Python爬虫教程：利用手机学习Python爬虫的终极指南

但是，是否可以利用手机进行Python爬虫学习呢？本文将介绍如何通过手机学习Python爬虫，为你打开一扇全新的学习之门。【一、手机学习资源】1.
一只会写程序的猫·2025-02-04 04:52

Python--多线程

首先，说明一下多线程的应用场景：当python处理多个任务时，这些任务本质是异步的，需要有多个并发事务，各个事务的运行顺序可以是不确定的、随机的、不可预测的。计算密集型的任务可以顺序执行分隔成的多个子任务，也可以用多线程的方式处理。但I/O密集型的任务就不好以单线程方式处理了，如果不用多线程，只能用一个或多个计时器来处理实现。下面说一下进程与线程：进程（有时叫重量级进程），是程序的一次执行，正如我
weixin_34403693·2025-02-02 18:18

Python--字符串转换为浮点数

遇到ValueError:couldnotconvertstringtofloat:错误时，表示程序试图将字符串转换为浮点数，但字符串的内容无法被解释为浮点数。以下是解决这一错误的所有可能方案：1.检查输入数据确保字符串格式正确：确认字符串中只包含可以转换为浮点数的字符（如数字、小数点、正负号等）。处理空字符串：如果字符串为空或者仅包含空格，应在转换之前处理这些情况。去除多余的字符：确保字符串中没
Ambition_LAO·2025-01-29 17:51

Python--进程和线程

第1关：Python多进程-求素数个数本关任务：使用Python多进程求素数个数。importmathfrommultiprocessingimportcpu_countfrommultiprocessingimportPool#判断数字是否为质数#**********Begin*****
Ssaty.·2025-01-25 20:24

Python--字符串

描述Pythonstrip()方法用于移除字符串头尾指定的字符（默认为空格）。语法strip()方法语法：str.strip([chars]);参数chars--移除字符串头尾指定的字符。返回值返回移除字符串头尾指定的字符生成的新字符串。实例以下实例展示了strip()函数的使用方法：#!/usr/bin/pythonstr="0000000thisisstringexample....wow!!
小丁丁_ddxdd·2025-01-24 16:22

python--对象存储服务器

目录对象存储服务器定义概念普及对象（Object）桶（Bucket）终端节点（Endpoint）访问域名知名的对象存储服务器提供商微软云Azure：MicrosoftAzureBlobStorage华为云OBS:阿里云OSS:腾讯云COSMinIO:AmazonS3(SimpleStorageService)GoogleCloudStorageIBMCloudObjectStorage具体代码使用
赵钱孙李的赵·2025-01-23 03:44

python--数据结构

1.list列表1.1特点有序：列表按照插入顺序排列。可变：可以添加，删除或者修改列表中的元素。异构：包含不同类型的数据。可重复：可迭代对象：可以使用迭代器协议来遍历列表中的元素，列表支持两种基本的迭代方法：for循环和迭代器协议。ps:迭代器协议要求对象实现两个特殊方法：iter()：返回一个迭代器对象next()：返回迭代器中的下一个值，如果没有更多值时，它会抛出StopIteration异常
赵钱孙李的赵·2025-01-23 03:44

python 爬虫学习

目录requst库访问HTML语言常用HTML标签结构性标签文本格式化标签超链接与图像列表标签HTML练习BeautifulSoup处理数据requst库访问fromrequestsimport*response=get("https://19j.tv/")print(response)若访问成功，状态码为200，访问失败，则查询状态码，http和https的状态码是一样的http状态码可以采取伪
lally.·2025-01-17 09:00

Python爬虫：从入门到实践

Python爬虫学习资料Python爬虫学习资料Python爬虫学习资料在当今数字化信息爆炸的时代，数据已成为企业和个人发展的重要资产。
来恩1003·2025-01-17 03:36

python--排错--AttributeError: 'str' object has no attribute 'decode'，关于python3的字符串

AttributeError:'str'objecthasnoattribute'decode'一般是因为str的类型本身不是bytes，所以不能解码两个概念:普通str：可理解的语义字节流str（bytes）（0101010101，可视化显示）两个语法Encode:把普通字符串转为机器可识别的bytesDecode:把bytes转为字符串两个差异Python3的str默认不是bytes，所以不能
我不是庸医·2024-09-14 12:16

python爬虫心得_python爬虫学习心得

爬虫新手一枚，因为工作原因需要学习相关的东西。发表下这段时间学习的心得，有说得不对的地方欢迎指指点点。一.什么是爬虫在学习爬虫之前只对爬虫有个概念性的认识。通过向服务器发送请求获取服务器传回信息，再根据其提取所需的信息。原理虽然简单，但是涉及的细节非常多，从一个坑爬出来又掉进另一个坑。二.post和getpost和get是两种向服务器发送请求的方式，有些http基础的同学应该都清楚他们的用处，在写
weixin_39941721·2024-08-31 14:29

Python大数据之Python爬虫学习总结——day16 数据可视化

数据可视化Map_地图基础地图知识点:基础示例:实战练习:知识点:自定义模块:制作中国地图data1.txt文件内容python代码示例制作区域地图data2.txt文件内容python代码示例Line_折线图基础折线图实战练习:Bar_柱状图基础柱状图反转以及主题设置Json数据python数据转为json数据知识点:示例:json数据转为python数据知识点:json文件:示例:Map_地图
笨小孩124·2024-08-28 12:46

python爬虫要不要学正则_Python爬虫学习（四）正则表达式

经过前面的学习之后，大家现在应该可以顺利地得到一个网页源码字符串，对于Python中的字符串，Python提供了很多操作，大家可以其去尝试提取网页源码字符串中想要的信息。在这里，给大家推荐的是正则表达式!文章最后还有爬取糗事百科的实例哦！什么是正则表达式说白了，正则表达式就是描述我们需要提取的那部分信息的规则的工具。举个栗子，比如，我们想要提取'Stayhungry,123stayfoolish!
weixin_39583751·2024-08-25 09:47

Python--正则表达式

正则表达式（RegularExpressions,简称regex或RE）是一种强大的工具，用于匹配和操作字符串。Python中的re模块提供了一整套操作正则表达式的功能，使得我们可以轻松地对字符串进行搜索、匹配、替换等操作。下面详细阐述正则表达式的使用及其常用操作。1.正则表达式基础正则表达式由普通字符和特殊字符（也称为元字符）组成。元字符用于指定字符串的模式。以下是一些常用的元字符：.:匹配任意
Ambition_LAO·2024-08-25 05:21

爬虫学习4：爬取技能信息

爬虫：爬取技能信息（代码和代码流程）代码importtimefromseleniumimportwebdriverfromselenium.webdriver.common.byimportByif__name__=='__main__':fp=open("./honorKing.txt","w",encoding='utf8')#1、urlurl=""#页面url#2、发送请求driver=we
夜清寒风·2024-08-24 01:24

Python--数据类型及其操作

目录一、基本数据类型1、整数类型其他进制数pow(x,y)函数，计算x的y次方2、浮点类型科学计数法3、复数类型二、操作1、三种类型的关系2、内置的数值运算操作符3、数字类型之间相互运算的结果基本规则4、与数值运算相关的6个内置函数5、数字类型的转化6、数字类型的判断7、math库7.1引用7.2math包含的常数7.3math包含的函数7.4math包含的幂对数函数7.5六个“三角双曲函数及4个
江湖险恶不行就撤·2024-08-22 21:01

python爬虫学习

Python爬虫(1):基本原理Python爬虫(2):Requests的基本用法Python爬虫(3):Requests的高级用法Python爬虫(4):BeautifulSoup的常用方法Python爬虫(5):豆瓣读书练手爬虫Python爬虫(6):煎蛋网全站妹子图爬虫Python爬虫(7):多进程抓取拉钩网十万数据Python爬虫(8):分析Ajax请求爬取果壳网Python爬虫(9):C
小叶丶·2024-08-22 07:35

python--字典集合控制流

python--字典集合控制流字典操作补充字典的增加字典的删除1、deldict_1['key1']2、dict.pop('key1')3、dict.popitems()字典的修改dict_1['key1
只要名字够长就有猪跟着念·2024-03-16 09:13

【python--读取csv文件统计店铺有关信息】

作者：“码上有前”文章简介：Python欢迎小伙伴们点赞、收藏⭐、留言python练习题读取csv文件统计店铺有关信息读取csv文件统计店铺有关信息importcsvimportosdefget_top_store(folder_path):data_dict={}#存储数据的字典#遍历文件夹中的每个CSV文件forfilenameinos.listdir(folder_path):iffilen
码上有前·2024-03-10 08:04

Python--字符串常用操作

字符串常用操作一.拼接字符串二.计算字符串的长度三.截取字符串四.分隔字符串五.检索字符串1.count()方法2.find()方法3.index()方法4.startswith()方法5.endswith()方法六.字母的大小写转换1.lower()方法2.upper()方法一.拼接字符串•使用“+”运算符可完成对多个字符串的拼接，“+”运算符可以连接多个字符串并产生一个字符串对象。wx1="F
晚•夜·2024-02-20 15:19

爬虫学习笔记-scrapy链接提取器爬取读书网链接写入MySQL数据库

1.终端运行scrapystartprojectscrapy_read,创建项目2.登录读书网,选择国学(随便点一个)3.复制链接(后面修改为包括其他页)4.创建爬虫文件,并打开5.滑倒下方翻页处,右键2,点击检查,查看到a标签网址,复制6.修改爬虫文件规则allow(正则表达式),'\d'表示数字,'+'表示多个,'\.'使'.'生效7.在parse_item中编写打印,scrapycrawlr
DevCodeMemo·2024-02-20 03:05

爬虫学习笔记-scrapy爬取电影天堂(双层网址嵌套)

1.终端运行scrapystartprojectmovie,创建项目2.接口查找3.终端cd到spiders,cdscrapy_carhome/scrapy_movie/spiders,运行scrapygenspidermvhttps://dy2018.com/4.打开mv,编写代码,爬取电影名和网址5.用爬取的网址请求,使用meta属性传递name,callback调用自定义的parse_sec
DevCodeMemo·2024-02-20 03:04

爬虫学习笔记-scrapy爬取当当网

1.终端运行scrapystartprojectscrapy_dangdang,创建项目2.接口查找3.cd100个案例/Scrapy/scrapy_dangdang/scrapy_dangdang/spiders到文件夹下,创建爬虫程序4.items定义ScrapyDangdangItem的数据结构(要爬取的数据)src,name,price5.爬取src,name,price数据导入items
DevCodeMemo·2024-02-20 03:03

OpenCV for python--基础知识篇（一）

之前将博客都写在CSDN上，为了方便更新博客内容（那边写完就没修改过/(ㄒoㄒ)/~~），准备重新整理，将之前的练习内容迁移到上，以便回顾知识和完善博客内容。现在工作上也有其他事情，写博客的时间相对要少，补个时间写点东西，原项目地址。获取图像基本属性shape,size,typeimportcv2img=cv2.imread(test.jpg')row,col,channel=img.shape#
CodeFUN·2024-02-19 18:01

Python爬虫学习

1.1搭建爬虫程序开发环境爬取未来七天天气预报frombs4importBeautifulSoupfrombs4importUnicodeDammitimporturllib.requesturl="http://www.weather.com.cn/weather/101120901.shtml"try:headers={"User-Agent":"Mozilla/5.0(WindowsNT10
曹博Blog·2024-02-19 16:09

python爬虫学习day2—百度翻译

##第零步安装requests库以及了解AJAX请求##第一步打开百度翻译网址，随便输入一个英文单词，我们可以发现网页进行了局部刷新，而非整体性的，因此我们可以猜测，这是一个AJAX请求。##第二步F12打开控制台，点击网络(network)，因为我们已经猜测这是一个AJAX请求，因此我们选择XHR(实现网页得局部刷新)或者叫Fetch/XHR。然后输入一个英文单词，例如write。我们挨个点击，
2401_82964032·2024-02-13 21:32

python爬虫学习day3—KFC肯德基餐厅信息查询

##第零步安装requests库以及了解AJAX请求##第一步打开肯德基餐厅信息查询(kfc.com.cn)随便输入一个地址后发现页面没有整体刷新，并且点击下一页页面也仍然是局部刷新，因此判断是AJAX请求。##第二步F12打开控制台，点击网络(network)，选择XHR(实现网页得局部刷新)或者叫Fetch/XHR。选择一个地址后，我们可以得到点击后我们可以得到：其url为https://ww
2401_82964032·2024-02-13 21:32

python爬虫学习day1—Books to Scrape

##第零步安装requests库与BeautifulSoup库，以及学习一点点html知识##第一步导入requests库与BeautifulSoup库importrequestsfrombs4importBeautifulSoup##第三步查看网站是否有反爬机制如果有可以选择伪装浏览器headers={"User-Agent":"自己浏览器的标识"}按F12找到网络（network）然后刷新网页
2401_82964032·2024-02-13 21:02

python爬虫beautifulsoup实例-Python爬虫学习（二）使用Beautiful Soup库

（一）使用BeautifulSoup库（默认将HTML转换为utf-8编码）1，安装BeautifulSoup库：pipinstallbeautifulsoup42，简单使用：importrequests;from_socketimporttimeoutfrombs4importBeautifulSoup#使用BeautifulSoup库需要导包#fromaifcimportdatadefgetH
weixin_37988176·2024-02-11 18:39

速看，关于Python的17个学习网站，从基础到机器学习【建议收藏】

目录一、基础学习网站Python官方教程Python官方安装包地址PyCharm下载地址anaconda3清华开源下载地址二、爬虫学习网站requests官方学习网站BeautifulSoup文档网站selenium
帅帅的Python·2024-02-10 12:45

python--单例模式

阅读目录前言1.单例模式应用场景2.实现的5种方法1.使用模块2.使用装饰器3.使用类4.基于__new__方法实现5.使用元类3.类的绑定方法单例模式例子4.参考文章前言单例模式是最常使用的一种设计模式，该模式的目的是确保在一个系统中，一个类只有一个实例1.单例模式应用场景数据库链接、Socket（套接字）创建链接2.实现的5种方法1.使用模块其实也就是平时所说的调用第三方库，比如beautif
4v1d·2024-02-07 04:59

PYthon进阶--网页采集器(基于百度搜索的Python3爬虫程序)

简介：基于百度搜索引擎的PYthon3爬虫程序的网页采集器，小白和爬虫学习者都可以学会。运行爬虫程序，输入关键词，即可将所搜出来的网页内容保存在本地。
在猴站学算法·2024-02-06 07:10

python爬虫学习步骤和推荐资料

学习Python爬虫是一项非常实用的技能，可以帮助你获取网络上的数据，进行信息抓取和分析。以下是一系列学习步骤和对应的参考资料，帮助你入门和深入学习Python爬虫。###学习步骤：####Step1:基础Python编程在学习爬虫之前，首先要确保你对基础的Python语法有一定的了解。参考资料：-[Python官方文档](https://docs.python.org/3/)-[w3school
suoge223·2024-02-06 00:27

第十一单元 python--元组和字典

一、元组Python的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。1.1元组的格式格式变量名=(,,,,)案例1.2访问元组通过索引取数据案例:索引值存在aTuple=(23,35,56,34,11,21)print(aTuple[2])#56案例:索引值不存在aTuple=(23,35,56,34,11,21)print(aTuple[20])#IndexEr
胖虎大魔王·2024-02-05 15:15

爬虫学习笔记-scrapy爬取汽车之家

1.终端运行scrapystartprojectscrapy_carhome,创建项目2.接口查找3.终端cd到spiders,cdscrapy_carhome/scrapy_carhome/spiders,运行scrapygenspideraudihttps://car.autohome.com.cn/price/brand-33.html4.打开audi,编写代码,xpath获取页面车型价格列
DevCodeMemo·2024-02-04 12:09

python-- 函数

在python中的函数："""1、python中的函数就类似于java中的方法；2、函数的语法的规则：def函数的名称(参数1，参数2)：执行的逻辑return结果值在定义函数的时候，参数的类型是可以不用指定的。3、在python中定义的函数的执行的顺序是从上往下开始执行的。4、在python中定义的函数中，参数是可以有默认值的"""1、定义函数的基本的格式：def函数名称(参数)：函数体#例如：
新手小农·2024-02-04 09:40

python--整体的模块

1、python程序的架构：是将一个程序分割为源代码文件的集合以及将这些部分连接在一起的方法2、在python中，一个py文件就是一个模块，多个模块组成一个包。3、python的模块的执行环境：一个模块包含了变量、函数、类以及其他的模块，然而对于函数来说，函数也有属于自己的本地变量4、在一个模块中可以导入其他模块中的包。在python中的导包就相当于将代码复制一遍运行。导模块的方式，主要有两种方式
新手小农·2024-02-04 09:40

python--文件读取与写入

"""1、文件的读取(1)读取文件：open1、file：指定文件的路径路径可以分成相对路径和绝对路径2、mode：指定文件的读取的的模式：1、'r'openforreading(default)表示的是读模式2、'w'openforwriting,truncatingthefilefirst表示的是写模式3、'x'createanewfileandopenitforwriting表示的创建模式4
新手小农·2024-02-04 09:39

python--第三方包的使用

1、json包在python中使用json解析数据的时候，需要导入包的类型，使用json包解析json数据。importjsonstudent_json='{"age":22,"clazz":"文科六班","gender":"女","id":"1500100001","name":"施笑槐"}'#将一个json文件装换成python中的对象，返回的是python中的字典：student_obj=j
新手小农·2024-02-04 09:07

python max()字符串的比较_（MAX第三篇）Python--字符串操作（一）

Python字符串及操作(一)此片文章总结涉及到字符串的引入、使用、索引选取、连接重复以及成员判断字符串(string)字符串是以单引号''或者双引号““括起来的任意文本。由于我是新手，只是进行所学内容的总结，所以字符串编码这一块还不是特别的熟练，可以参考廖雪峰。字符串用单引号''：>>>name='Max'>>>name'Max'>>>smart='你聪明么'#可以输入中文，但是要记住不能在中文
weixin_39884832·2024-02-03 22:23

python字符串类型定义_python--字符串类型

***************字符串类型***************1.字符串的定义:第一种方式:str1='ourcompanyiswestos'第二种方式:str2="ourcompanyiswestos"第三种方式:str3="""ourcompanyiswestos"""2.转义符号一个反斜线加一个单一字符可以表示一个特殊字符,通常是不可打印的字符\n:代表换行符\":代表双引号本身\t
weixin_39613824·2024-02-03 22:23

Python爬虫学习之scrapy库

一、scrapy库安装pipinstallscrapy-ihttps://pypi.douban.com/simple二、scrapy项目的创建1、创建爬虫项目打开cmd输入scrapystartproject项目的名字注意:项目的名字不允许使用数字开头也不能包含中文2、创建爬虫文件要在spiders文件夹中去创建爬虫文件cd项目的名字\项目的名字\spiderscdscrapy_baidu_09
蜀道之南718·2024-02-03 11:46
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他