python--爬虫学习

Python--列表练习加强题

文章目录一、有一堆硬币，每次只能拿一个或者两个，求最少多少次可以拿完硬币，[10,8,5,3,27,99]二、如果两个素数之差为2，这样的两个素数就叫做”孪生数“，找出100以内所有的”孪生数“三、给定一个列表，求最大值、最小值、平均值、求和四、将list中的数据去重，至少使用两种方案五、两个列表进行合并操作六、使用列表判断一个列表是否在另一个列表内七、如何将0~10随机存入列表中八、完成一个登录
情哥是小白·2023-10-09 04:31

Python--入门

标识符标识符由字母，数字，下划线_组成第一个字符不能是数字，必须是字母或下划线标识符区分大小写关键字关键字即保留字，定义标识符时不能使用关键字，python中的关键字如下图注释python中的单行注释用#多行注释使用三个单引号（'''）或三个双引号（"""）#这是一个演示,单行注释'''三个单引号的多行注释'''"""三个双引号的多行注释"""多行语句在python中可以使用反斜杠\来实现多行语句
⚝ ⚝·2023-10-08 15:50

6 爬虫学习之Selenium

一、selenium的介绍Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium可以直接调用浏览器，它支持所有主流的浏览器，可以接受指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。1、selenium运行效果展示importtimefromseleniumimportwebdriver#创建浏览器对象driver=webdriver.Chrome
爱划水的小白·2023-10-08 11:23

Python--利用wordloud制作词云

本文首发于我的博客:gongyanli.com词云github:https://github.com/amueller/word_cloud词云官方地址:https://amueller.github.io/word_cloud/前言：第一次使用wordcloud，然后记录了自己的点滴，使用其实很简单。我输出的图形看着不太美观，后续可以深入研究，输出自己想要的形状。一、安装pipinstallwo
Chris的算法小记·2023-10-07 08:16

Python--文件和异常

Python–文件和异常#从文件中读取数据withopen('digits.txt')asfile_object:contents=file_object.read()print(contents)#open()函数饥饿收一个参数--文件名称，在执行文件所在的目录中寻找指定的文件，返回一个表示文件的对象#关键字with再不需要访问文件后将其关闭；但是close()也可以关闭文件，可以如果过早调用c
越太·2023-10-06 11:25

python爬虫模式_python爬虫学习笔记（2）-----代理模式

一、UserAgentUserAgent中文意思是用户代理，简称UA，它是一个特殊字符串头，使得服务器能够识别用户设置UA的两种方式：1、heads1fromurllibimportrequest,error2if'__name__'=='__main__':3url="http://www.baidu.com"4try:5headers={}6headers['User-Agrnt']="Use
weixin_39588252·2023-10-05 20:53

Python--控制台获取输入与正则表达式

前言一、控制台获取输入1.1字符串输入1.2整数输入1.3浮点数输入1.4布尔值输入1.5列表输入1.6汇总二、正则表达式2.1匹配数字2.2模式检查2.3替换字符2.4切分字符串2.5搜索并提取匹配的部分2.6使用捕获组提取匹配的部分2.7非贪婪匹配2.8忽略大小写匹配2.9使用预定义字符类2.10自定义字符类2.11零宽断言2.12多行模式2.13嵌入式修饰符2.14替换时使用回调函数2.15
Grape_o·2023-10-04 04:26

CTF-python爬虫学习笔记

学习链接【Python+爬虫】爆肝两个月！拜托三连了！这绝对是全B站最用心（没有之一）的Python+爬虫公开课程，从入门到（不）入狱！。知识1.1出现错误复制红框中的内容去查找1.2打印(1)字符串连接ptint(“6”+“lks”)(2)单双引号转义print("6\“lks”)(3)换行print(“6\nlks”)(4)三引号跨行字符串print(“”“6lkslks”“”)1.3注释单行
小蜗牛狂飙记·2023-10-02 02:47

爬虫学习笔记（五）--抓取数据

对网页信息的抓取。一.常用的用是re，BeautifulSoup以及lxml。其中re，lxml速度快。re比较复杂，当页面发生变化时正则表达式还需修改。BeautifulSoup比较简单，但是速度慢。lxml+cssselect速度快，也比较简单，可以说是集合了re和BeautifulSoup的优点。二.用lxml来抓取网站信息1.以一个网站为例：抓取面积信息url='http://exampl
不_初心·2023-10-01 13:10

Python3爬虫学习——urlib库笔记

Python3爬虫学习——urllib库前言本笔记仅个人认知和见解，水平有限，还请见谅。内容大多来自Python文档和学习材料，作相应的扩充或压缩后的笔记。
甲寅Emore·2023-09-28 13:31

网络爬虫学习笔记 1 HTTP基本原理

HTTP原理~~~~~HTTP（HyperTextTransferProtocol，超文本传输协议）是一种使用最为广泛的网络请求方式，常见于在浏览器输入一个地址。1.URI和URLURL（UniversalResourceLocator，统一资源定位器）URI（UniformResourceIdentifier，统一资源标识符）URL是URI的子集，URI还包括一个子类URN（UniversalR
锋锋的快乐小窝·2023-09-28 07:01

Python爬虫学习笔记-第二课(网络请求模块上)

网络请求模块上1.相关概念介绍1.1向网站发起请求的方式：1.2url-全球统一资源定位符1.3User-Agent用户代理1.4referer1.5状态码1.6抓包工具2.urllib模块简介3.urllib常用方法3.1urllib.request3.2urllib.parse1.相关概念介绍1.1向网站发起请求的方式：Get查询参数会在url地址中显示；通常应用于直接从服务器上获取数据，不会
tzr0725·2023-09-27 09:01

爬虫实战入门级教学（数据爬取-＞数据分析-＞数据存储）

爬虫实战入门级教学1.0（数据爬取->数据分析->数据存储）天天刷题好累哦，来一期简单舒适的爬虫学习，小试牛刀（仅供学习交流，不足之处还请指正）文章讲的比较细比较啰嗦，适合未接触过爬虫的新手，需要源码可直接跳转到文章末尾完整源码在文章末尾
农夫三码·2023-09-24 18:27

爬虫学习笔记-python基础+urllib

目录一、Python基础知识回顾1、pip下载源2、pycharm设置作者信息3、python注释4、变量4.1类型转换4.2字符串函数find函数startswith和endswith函数replace函数split函数strip函数：去空格join函数4.3列表的增删改查4.3.1添加元素append函数insert函数extend函数4.3.2修改元素4.3.3查找元素4.3.4删除元素4.
Hubert_xx·2023-09-23 19:39

爬虫学习笔记--解析

目录一、xpath一、xpathxpath使用：注意：提前安装xpath插件（1）打开chrome浏览器（2）点击右上角小圆点（3）更多工具（4）扩展程序（5）拖拽xpath插件到扩展程序中（6）如果crx文件失效，需要将后缀修改zip（7）再次拖拽（8）关闭浏览器重新打开（9）ctrl+shift+x（10）出现小黑框
Hubert_xx·2023-09-23 19:09

python--打字练习的成绩判定

题目：模拟打字练习程序，假设original为原始内容，user-Inputs为用户输入的内容，要求用户输入的内容长度不得大于原始内容长度。若对应位置字符一致，则认为正确，否则判定输入错误。最后成绩为：正确的字符数量/原始字符串长度，按百分制输出，要求保留2位小数。判定成绩等级，输出相应级别，级别包括“优、良、中、及格、不及格”。用到的知识点：Python内置函数zip()、sum()、round
～祝今在·2023-09-23 16:04

爬虫实践-豆瓣读书Top250

爬虫学习与实践一、爬虫介绍二、爬虫原理TCP3次握手，4次挥手过程三、页面解析之数据提取四、正则表达式五、实践1.抓取百度贴吧2.拉钩招聘网六、进阶版一、爬虫介绍网络爬虫，其实叫作网络数据采集更容易理解
严同学正在努力·2023-09-23 14:19

Python--高级编程

一、正则表达式（Ctrl+单击查看函数结构）1、正则引入正则表达式是一种用于匹配和处理文本的强大工具。它可以帮助开发者在文本中查找、替换和提取特定模式的内容。以下是正则表达式的一些常见用途：模式匹配：正则表达式可以用来检查一个字符串是否符合某种特定的模式。例如，可以使用正则表达式来验证一个邮箱地址或者检查一个字符串是否是一个有效的日期格式。文本搜索和替换：正则表达式可以在文本中搜索和替换特定的模式
蘑菇Ms程序化·2023-09-23 01:46

Python爬虫学习（五）Chrome浏览器自动化测试框架_使用百度账号、QQ第三方登陆百度账号

简单介绍Selenium(浏览器自动化测试框架)是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。安装第三方模块seleniumpipinstallselenium-ihttps://pypi.tuna.tsinghua.edu.cn/simple下载浏览器驱动下载浏览器驱动，Selenium3.x调用浏览器必须有一个webdriver驱动文件最
Liu_Shihao·2023-09-22 10:29

python--原神抽奖程序

用到的素材素材链接:https://pan.baidu.com/s/1ZAvHZXNRHEjIRS9qzgONmQ提取码:i2z4复制这段内容后打开百度网盘手机App，操作更方便哦代码#coding=gbkfromtkinterimport*importcv2fromPILimportImage,ImageTk,ImageDraw,ImageFontimportrandomimportnumpya
Mr*Guo·2023-09-22 09:27

xpath获取标签的属性值_爬虫学习之xpath

前面学习了使用requests获取页面源码，今天一起学习如何解析源码？xpath表达式：是最常用最便捷高效的一种解析方式且，通用性强。解析原理：1、实例化一个etree对象，且需要将被解析的页面源码数据加载到该etree对象中。2、调用etree对象中的xpath方法，结合xpath表达式实现标签定位和内容获取。环境安装：pipinstalllxml实例化etree对象：fromlxmlimpor
weixin_39646412·2023-09-22 03:22

python--输入函数的应用

输入函数inputgift=input('小刘你想要什么礼物呢')print(gift,type(present))从键盘录入两个整数，并计算两个整数的和num1=input('请输入第一个数')num2=input('请输入第二个数')print(num1+num2)//只是拼接字符串print(int(num1)+int(num2))
是老虎是狮子不是大象·2023-09-21 17:07

python--读取特定的txt文件，并统计文件中的词汇

去年刚学python的时候，用open的方法写了一个脚本，简化了我自己测试维护环境的工作量（通过ipop工具输出的回显，去统计回显中我想要的字符）。最近刚好学习嵩天老师的课，讲到了这个方法，用来统计某个文档中的人名。索性自己写了个类，刚好巩固一下。#-*-mode:python;coding:utf-8-*-classBook():"""定义一个关于书本txt的类"""def__init__(se
想学好python的人·2023-09-21 13:53

python爬虫学习笔记 1.9 （Handler处理器 和 自定义Opener）

python爬虫学习笔记1.1（通用爬虫和聚焦爬虫）python爬虫学习笔记1.2（HTTP和HTTPS）python爬虫学习笔记1.3str和bytes的区别python爬虫学习笔记1.4（Request
还算小萌新？·2023-09-20 13:13

python程序采用unicode编码、英文字符_python--基础字符编码

一了解字符编码的知识储备一计算机基础知识二文本编辑器存取文件的原理(nodepad++，pycharm，word)#1、打开编辑器就打开了启动了一个进程，是在内存中的，所以，用编辑器编写的内容也都是存放与内存中的，断电后数据丢失#2、要想永久保存，需要点击保存按钮：编辑器把内存的数据刷到了硬盘上。#3、在我们编写一个py文件(没有执行)，跟编写其他文件没有任何区别，都只是在编写一堆字符而已。三py
豆汁儿111·2023-09-19 17:07

‘NoneType‘ object has no attribute ‘find_all‘问题解决

Python爬虫问题描述：原因分析：解决方案：问题描述：Python爬虫学习过程中遇到的AttributeError:‘NoneType’objecthasnoattribute‘find_all’问题解决
越狱兔崽子·2023-09-19 09:36

python萌新爬虫学习笔记【建议收藏】

文章目录1.如何何请求解析url2.如何获取标签里面的文本3.如何解析JSON格式4.如何添加常用的header5.如何合并两个div6.如何删除htmldom的部分结构7.如何一次性获取所有div标签里的文本8.python爬虫如何改变响应文本字符集编码9.如何进行字符集转码11.response.text和respone.content的区别12.如何发送post请求访问页面13.如何获取ur
东离与糖宝·2023-09-18 16:21

Python--测试代码

目录1、使用pip安装pytest1.1更新pip1.2安装putest2、测试函数2.1单元测试和测试用例2.2可通过的测试2.3运行测试2.4未通过的测试2.5解决测试未通过2.6添加新测试3、测试类3.1各种断言3.2一个测试的类3.3测试AnonymousSurvey类3.4使用夹具在编写函数或类时，还可为其编写测试。通过测试，可确定代码⾯对各种输⼊都能够按要求⼯作。1、使用pip安装py
Big-Peng·2023-09-17 19:56

python爬虫学习（一）：Excel操作

爬虫经常会用到Excel，就去看了一些关于Excel操作的一些库，以下是一些小心，仅供参考学习：python操作Excel常用的两个库：1.xlrd2.xlsxwriter这两个库的使用前面有详细介绍：python-xlrd常用方法python-xlsxwriter模块使用(拓展：Excel插入图表)这里试一下Excel文件的合并操作：（就是结合上面两个库的操作）#-*-coding:utf-8-
忘了呼吸的那只猫·2023-09-17 08:36

爬虫学习(一)

正文共：7739字5图预计阅读时间：20分钟每日分享Thehappinessofthislifedependslessonwhatbefallsyouthanthewayinwhichyoutakeit.生活中的幸福不在于发生在你身上的事，而在于你应对事情的方法。小闫语录：很久以前，听过这样一个故事：有两个人在穿越沙漠，到了中段的时候，一个人拿着自己的半瓶水说：唉，就剩下半瓶水了。(此处省略无尽的
小闫同学啊·2023-09-16 23:48

Python--文件和异常

目录1、读取文件1.1读取文件的全部内容1.2相对路径和绝对路径1.3访问文件中的各行1.4使用文件中的内容1.5包含100万位的大型文件1.6圆周率中的生日2、写入文件2.1写入一行2.2写入多行3、异常3.1处理ZeroDivisionError异常3.2使用try-except代码块3.3使用异常避免崩溃3.4else代码块3.5处理FileNotFoundError异常3.6分析文本3.7
Big-Peng·2023-09-16 11:57

Python--类

目录1、创建和使用类1.1创建Dog类1.2根据类创建实例1.2.1访问属性1.2.2调用方法1.2.3创建多个实例2、使用类和实例2.1Car类2.2属性指定默认值2.3修改属性的值2.3.1直接修改属性的值2.3.2通过方法修改属性的值2.3.3通过方法让属性的值递增3、继承3.1子类的__init__()方法3.2子类定义属性和方法3.3重写父类中的方法3.4将实例作为属性3.5模拟实物4、
Big-Peng·2023-09-16 11:25

Python所有方向的学习路线图，让Python初学者少走弯路

学习路线图上面写的是某个方向建议学习和掌握的知识点汇总，举个例子，如果你要学习爬虫，那么你就去学Python爬虫学习路线图上面的知识点，这样学下来之后，你的知识体系是比较全面的，比起在网上找到什么就学什么
Python栈机·2023-09-15 22:02

爬虫学习总结

断断续续学了一点爬虫，算是入了个门，很多时候对一些基本点还是不够熟悉，特此来总结归纳一下分析网页数据包数据来源：构造get请求或post请求，ajax加载获取原数据方式urllib库使用较为复杂，而requests相较更为方便，且功能基本包括。使用requests库根据url等参数请求，判断状态码解决异常处理问题importrequestsfromrequests.exceptionsimport
猛寇龙崽·2023-09-15 11:51

PYTHON--求矩阵局部极大值

求矩阵局部极大值描述给定M行N列的整数矩阵A，如果A的非边界元素A[i][j]大于相邻的上下左右4个元素，那么就称元素A[i][j]是矩阵的局部极大值。本题要求给定矩阵的全部局部极大值及其所在的位置。输入输入在第一行中给出矩阵A的行数M和列数N（3≤M,N≤20）；最后M行，每行给出A在该行的N个元素的值。数字间以空格分隔。输出每行按照“元素值行号列号”的格式输出一个局部极大值，其中行、列编号从1
忍冬的Blog·2023-09-15 09:58

假期总结及后半段安排

总结考试过后在学习上完成了js，jquery的学习，爬虫学习至Scrapy框架，Scrapy还有scrawlspider，scrapy_redis,redisspider,rediscrawlspider
李甲坤_三月·2023-09-15 02:08

Python--函数

目录1、定义函数1.1向函数传递信息1.2实参和形参2、传递实参2.1位置实参2.2关键字实参2.3默认值2.4等效的函数调用2.5避免实参错误3、返回值3.1返回简单的值3.2让实参变成可选的3.3返回字典3.4结合使用函数和While循环4、传递列表4.1在函数中修改列表4.2禁止函数修改列表5、传递任意数量的实参5.1结合使用位置实参和任意数量的实参5.2使用任意数量的关键字实参6、将函数存
Big-Peng·2023-09-15 02:41

python导入urllib request_Python爬虫学习笔记（一）——urllib库的使用

前言我买了崔庆才的《Python3网络爬虫开发实战》，趁着短学期，准备系统地学习下网络爬虫。在学习这本书的同时，通过博客摘录并总结知识点，同时也督促自己每日学习。本书第一章是开发环境的配置，介绍了爬虫相关的各种库以及如何安装，这里就跳过了。第二章是爬虫基础，都是些基本知识点，也跳过。从第三章开始认真记录学习路径。urllib库的使用urllib库是python内置的HTTP请求库，包含四个模块，接
眺过云端·2023-09-14 23:50

python--元组和字典

一、元组Python的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。元组的格式；变量名=(,,,,)访问元组通过索引取数据案例aTuple=(23,35,56,34,11,21)print(aTuple[2])#56查询个数count查询出现的个数案例aTuple=('b','c','d','e','f','g')print(aTuple.count('d'))#
luck·2023-09-14 23:55

Python--用户输入与While循环

1、input()函数的工作原理input()函数让程序暂停运⾏，等待⽤户输⼊⼀些⽂本。获取⽤户输⼊后，Python将其赋给⼀个变量，以便使⽤。message=input("Tellmesomething,andIwillrepeatitbacktoyou:")print(message)input()函数接受⼀个参数，即要向⽤户显⽰的提⽰（prompt），让⽤户知道该输⼊什么样的信息。1.1编写
Big-Peng·2023-09-14 16:19

python--日志处理logging.handlers.TimedRotatingFileHandler

文章目录一、日志模块二、生成日志脚本三、生成日志思路一、日志模块使用模块之前，先进行导入importlogging在进行开发过程中，需要日志文件帮助我们去定位问题，这就需要区分好每天的日志，TimedRotatingFileHandler类可以实现每日日志文件的更新。TimedRotatingFileHandler类位于logging.handlers模块，它支持基于特定时间间隔的磁盘日志文件轮换
晚风吹儿·2023-09-12 18:31

爬虫学习笔记（二）——使用 requests 爬取百度图片

一、抓取首页图片静态页面流程：1.1、找到目标数据这里用狗的图片来举例，接下来我们就要分析然后爬取这个页面所有狗的图片的规律1.2、分析请求流程先访问page页获取网页的源代码#网页的URL地址url='https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&f
别呀·2023-09-12 05:05

python爬虫练习

python爬虫第一章Python爬虫学习入门的使用`爬虫练习第一周python爬虫前言一、什么是网络爬虫？二、爬虫有什么用？
sparename·2023-09-11 04:59

初学python爬虫学习笔记——爬取网页中小说标题

初学python爬虫学习笔记——爬取网页中小说标题一、要爬取的网站小说如下图二、打开网页的“检查”，查看html页面发现每个标题是列表下的一个个超链接，从183.html到869.html可以使用for
白芷加茯苓·2023-09-09 18:47

Python学习的第四天

爬虫学习路劲表达式7UVR78T013CI47F(88K`$BC.pngimportrequestsfromlxmlimporthtmlimportpandasaspdfrommatplotlibimportpyplotaspltplt.rcParams
saki_1234·2023-09-09 09:58

2023爬虫学习笔记 -- 使用代理爬取数据

一、正常访问网页，获取本地访问的地址二、通过代码实现1、目标地址及头信息目标地址="http://202XXXX.com/"头={"User-Agent":"Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/86.0.4240.198Safari/537.36"}2、获取目标地址网页源码响应内容=re
web安全工具库·2023-09-07 15:43

python爬虫经验分享_「经验分享」推荐一条高效的Python爬虫学习路径

如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有的人认为学爬虫必须精通Python，然后哼哧哼哧系统学习Python的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始HT
weixin_39812533·2023-09-07 11:29

大佬推荐的一条高效的Python爬虫学习路径「纯经验分享」

如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有的人认为学爬虫必须精通Python，然后哼哧哼哧系统学习Python的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始HT
程序媛小本·2023-09-07 11:25

爬虫学习经验分享-------某点评网站

某点评网站爬虫分享----0基础学习，解决反爬，加密，ip代理，封ip“403Forbidden”等问题。最近有个调查的项目，其中包含了对于网络数据的爬取。而之前我并没学过网络爬虫，因此我也抱着学习的心态来学习如何爬取某点评网站的评论。首先由于零基础，我先去搜索了相关视频学习爬虫的基本参数和方法，了解了requests库和beautifulsoup的基本用法。随后我就开始实战，学习某点评怎么爬取，
Brinshy·2023-09-07 11:50

Python--第二阶段--04.并发编程多进程和多线程

多任务编程意义：充分利用计算机多核资源，提高程序的运行效率，一个程序中同时使用多个任务。实现方案：多进程，多线程并发与并行并发：同时处理多个任务，内核在任务间不断的切换达到好像多个任务同时执行的效果，实际每个时刻只有一个任务占有内核。并行：多个任务利用计算机多核资源在同时执行，此时多个任务间并行关系。进程（process）进程理论基础定义：程序在计算机中的一次运行。程序是一个可执行的文件，是静态的
坑爹的川川·2023-09-06 04:05
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他