python--爬虫学习

Python--快速入门二

Python--快速入门二1.Python数据类型1.可以通过索引获取字符串中特定位置的字符：a="Hello"print(a[3])2.len函数获取字符串的长度：a="Hello"print(a)print
GodFishhh·2023-11-12 05:04

Python--快速入门三

Python--快速入门三1.Python列表列表是Python用于储存一系列数据的容器(特点是可以存放不同类型的数据)python_list=["键盘",True,66,88.8]列表是可变数据类型，
GodFishhh·2023-11-12 05:02

【Python爬虫学习笔记_day04】

1.爬虫入门网络爬虫:（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。爬虫步骤:1.准备有效的URL2.发送请求,获取响应对象3.从响应对象中提取数据4.检索自己想要的数据5.数据保存或者数据可视化requests模块:模拟人去浏览器中发送请求给web服
LKL1026·2023-11-12 03:07

python爬虫学习之路

这里写目录标题一、爬虫概念【2023.3.3】二、反爬机制三、请求模块四、聚焦爬虫五、scrapy框架【3.23】六、综合案例--爬取农业银行所有网点地址信息Scrapy实战案例--爬取农业银行所有网点地址信息一、爬虫概念【2023.3.3】通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。价值：抓取互联网上的数据，为我所用，有了大量的数据，就如同有了一个数据银行一样，下一步做的就是
bu volcano·2023-11-11 12:32

Python--列表及其应用场景

1.为什么需要列表思考：有一个人的姓名(laowang)怎么书写存储程序？用变量。如：name='laowang'但是，如果要记录很多人的名字，怎么办？思考：如果一个班级100位学生，每个人的姓名都要存储，应该如何书写程序？声明100个变量吗？不可能一直写那么多，针对这种，Python设置用列表解决。列表一次可以存储多个数据。在Python中，这种数据类型称为列表。但是在其他的编程语言中，如Jav
唯元素·2023-11-11 04:24

python--比较两个json数据是否相等

手写代码：比较两个json数据是否相等1、json数据转换成字典dict1=json.load(load_f1)dict2=json.load(load_f2)2、将两个字典按key排好序，然后使用zip()函数将两个字典对应的元素打包成元组。比较对应的元素的value是否相等。forsrc_list,dst_listinzip(sorted(dict1),sorted(dict2)):ifstr
Eyre_Chan·2023-11-11 03:32

python--虚拟环境搭建（使用命令安装）

作用：1.使不同应用开发环境相互独立2.环境升级不影响其他应用，也不会影响全局的python环境3.防止出现包管理混乱及包版本冲突两种搭建虚拟环境方法：1.使用pycharm创建虚拟环境（之前的文章已经介绍过，不再赘述）2.使用命令创建虚拟环境1、安装两个命令pip3installvirtualenvpip3installvirtualenvwrapper-win#win系统才装pip3insta
不 再 熬 夜·2023-11-10 08:39

Java爬虫学习——第二节，使用HttpClient连接池

在HttpClient使用过程中，每次请求都需要创建HttpClient，为避免频繁的创建和销毁浪费资源，使用连接池的方式。PoolingHttpClientConnectionManager是个复杂的类，它管理连接池，可以同时为很多线程提供http连接请求。当请求一个新的连接时，如果连接池有有可用的持久连接，连接管理器就会使用其中的一个，而不是再创建一个新的连接。使用PoolingHttpCli
未遇山谷不待回声·2023-11-07 19:46

python--多用户注册账号和密码

#多人注册账户和密码，用户名和密码和文档中的数据相同则提示登陆，不相同则提示注册tip=print('请注册你的账号和密码')whileTrue:#注册功能写入文件，检测账户是否已注册，已注册的提示已注册，没注册的继续往下写user=input('你的用户名:').strip()password=input('你的密码:').strip()k='%s:%s\n'%(user,password)#用
tudoujun123·2023-11-06 09:00

Python爬虫学习日志——day2（requests）

对urllib不是很清楚的同学可以看我的上一部日志：Python爬虫学习日志——day1（urllib）对于不同的请求方式，如GET,POST,PUT等，requests库提供了一系列简单明了的方法：get
nssmlsr·2023-11-06 06:26

【python--字典】一个键对应多个值

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、字典二、定义多个值1.字典中键对应的值可以为一个列表2.改变值总结前言python如何定义一个键对应多个值得字典以及对其进行操作。一、字典字典是另一种可变容器模型，且可存储任意类型对象。字典的每个键值key=>value对用冒号:分割，每个键值对之间用逗号,分割，整个字典包括在花括号{}中,格式如下所示：dct={'a
以肉克刚·2023-11-06 02:44

python--列表之修改

一、数据的修改list1=['a','b','c','d']list1[0]='x'print(list1)#['x','b','c','d']二、reverse():逆序list1=['a','b','c','d']list1.reverse()print(list1)#['d','c','b','a',]三、sort():默认升序排序，reverse=true降序，reverse=false升
峡谷飞鹰·2023-11-04 07:04

python--列表（容器---可以存储不同类型的数据类型）

变量可以存储一个元素，列表是一个大容器可以存储n个元素'''list=['hello','12',12]print(id(list))print(type(list))print(list)
¡Venceremo·2023-11-03 10:58

python--数据类型输出

整形：n1=1n2=95print("类型:",type(n1))#输出默认10进制print("类型:",type(n2))print("10进制:",20)print("8进制:",0o24)#输出默认10进制print("16进制:",0x14)print("2进制:",0b10100)浮点型n1=1.1n2=2.2#具有一定的不稳定性print(n1+n2)#计算机存储浮点数使用2进制存储
¡Venceremo·2023-11-03 10:28

【笔记】2、初学python3网络爬虫——爬虫的基本原理

python3网络爬虫——爬虫的基本原理这是我的第二篇python3网络爬虫学习笔记学习指引：视频教程《python3网络爬虫实战》为了避免学习后短时间内遗忘，让自己随时可以查阅前方自己学过的知识，特意注册
BenkoZhao·2023-11-01 17:52

python爬虫入门——html(xml)语言知识

由于我最近需要爬取某个网页资源信息，所以开始入门python爬虫类的相关知识博客中相关知识的介绍内容参考了菜鸟教程中的html语言和mooc慕课上嵩天老师的爬虫教程写在前面我的爬虫学习刚刚起步，最近需要做的事情和学习任务也占据了很多时间
心事寄于秋·2023-11-01 17:12

Python--快速入门一

Python--快速入门一1.创建Python的项目使用IDE：PyCharm创建项目文件夹：点击新建项目将位置地址改为想要Python项目存放的位置基础解释器选择最新版本的解释器（此处为Python3.120
GodFishhh·2023-11-01 03:07

爬虫学习之抓取手机销量排名

最近苹果手机新热点，iPhone13系列有望支持息屏显示。关注了一网友们的评论，大家都表示这难道不是安卓早就支持的吗？怎么在苹果这里还只是有望实现呢？而且很多使用苹果手机的用户表示能不能在手机的信号和充电问题是多花点心思。小编最近在学习Python的一些相关知识，爬虫是其中有趣的一项，然后今天看到这个话题，就来这里分享下学习战果。尝试爬取一下淘宝手机的销量数据，这里说下，淘宝的反爬虫有点厉害，光是
Laicaling·2023-10-31 15:15

python--字符串 列表

1）输入输出2）切片如何获取上面字符串中的单个字符k？抛出下标索引:好比超市中存储柜的编号，通过这个编号就能找到相应的存储空间如何获取最后一个元素?思路:通过索引找到对应的值适用范围字符串、列表、元组都支持切片操作切片的语法取前三个字符取全部字符每隔一个字符取一个(aceg)
ljd0411·2023-10-30 19:47

python 函数定义位置_PYTHON--函数定义

参考来源函数的参数www.liaoxuefeng.com定义函数的时候，我们把参数的名字和位置确定下来，函数的接口定义就完成了。对于函数的调用者来说，只需要知道如何传递正确的参数，以及函数将返回什么样的值就够了，函数内部的复杂逻辑被封装起来，调用者无需了解。Python的函数定义非常简单，但灵活度却非常大。除了正常定义的必选参数外，还可以使用默认参数、可变参数和关键字参数，使得函数定义出来的接口，
lover bacon·2023-10-29 21:49

python爬虫学习(4)抓取链家网二手房数据

最近在学习爬虫，写了个比较简单的程序，抓取北京二手房房价信息。#-*-coding:utf-8importurllib2importurllibimportre,osimporttime#frombs4importBeautifulSoupimportsysreload(sys)sys.setdefaultencoding('utf-8')classHomeLink:#初始化数据def__init
ciliting2867·2023-10-29 18:18

Python--开启多进程(Process 模块)与开启多线程(Thread 模块)

文章目录一、开启多进程1.1multiprocess模块1.2Process模块1.3方法介绍join方法拓展1.4、属性介绍1.5创建进程的两种方式1.6`p.daemon`属性--守护进程详解二、开启多线程2.1Thread模块的导入2.2方法与属性的介绍三、Process与Thread的区别3.1主进程与主线程的结束标志注意事项在windows中使用process模块的注意事项Python能
本木夕丶Lu·2023-10-29 05:45

Python--练习：报数字（数7）

案例：一些同学从1开始报数，当需要报出的数字尾数是7或者该数字是7的倍数时，则该同学跳过这个数字，不进行报数。所有同学都参与游戏后，游戏结束。如输入学生数量为50，游戏结束后，报数的同学数量为39。思考：如何判断某个数字尾数为7以及如何判断某个数字是7的倍数①如何判断数字尾数为7，i%10==717%10=1余727%10=2余7②如何判断数字是7的倍数，i%7==0代码：#定义一个变量n，用于获
唯元素·2023-10-29 01:49

python--模块和包

转载：https://www.cnblogs.com/Eva-J/articles/7292109.html阅读目录一模块3.1import3.2from…import…3.3把模块当做脚本执行3.4模块搜索路径3.5编译python文件二1什么是模块？常见的场景：一个模块就是一个包含了python定义和声明的文件，文件名就是模块名字加上.py的后缀。但其实import加载的模块分为四个通用类别：
Daphar·2023-10-27 23:33

python--平方根

num=float(input('输入一个数字：'))num_sqrt=num**0.5print('%0.3f的平方根为%0.3f'%(num,num_sqrt))#计算实数和复数平方根#导入复数教学模块importcmathnum=int(input("请输入一个数字："))num_sqrt=cmath.sqrt(num)print('{0}的平方根为{1:0.3f}+{2:0.3f}j'.f
Prada-8808·2023-10-27 08:29

商业爬虫学习笔记day1

day1一.HTTP1.介绍：https://www.cnblogs.com/vamei/archive/2013/05/11/3069788.htmlhttp://blog.csdn.net/guyuealian/article/details/525352942.当用户输入网址（如www.baidu.com）,发送网络请求的过程是什么？上图应该还有往回的箭头（即服务器从数据库获取得到指定的请求
weixin_30617737·2023-10-26 19:51

python爬虫学习小组 任务1

任务1.1学习get与post请求Requests库是python的第三方库，是目前公认的爬取网页最好的工具。1.1.1Requests库有7个主要的方法：requests.request()构造一个请求，支撑以下6个方法的基础方法requests.get()获取HTML页面的主要方法，对应于HTTP的GETrequests.head()获取HTML页面头信息的方法，对应于HTTP的HEADreq
文建国_8aae·2023-10-26 16:51

python--用装饰器做参数检查

1.装饰器检测参数importcollectionsimportfunctoolsimportinspectdefpara_check(func):"""函数参数检查装饰器，需要配合函数注解表达式（FunctionAnnotations）使用"""msg='Argument{argument}mustbe{expected!r},butgot{got!r},value{value!r}'#获取函数
高压锅_1220·2023-10-26 01:17

python--装饰器做参数检查

编写自定义python函数后，一般有一个参数检查过程，检查输入的参数是否是定义的类型，参数检查可以避免一些明显错误，也可以提高代码调试时的效率。本文用装饰器加注释表达式的方式，对函数做参数检查。1装饰器在python中，常常看到@符号，后面的函数就是装饰器，比如在定义一个类的时候，会用到@property，作用是将一个方法转换为类的属性，也是一个装饰器。装饰器可以理解为对函数外加一个行为，这个行为
FTDdata·2023-10-26 01:15

python--字符串格式化f-string

f-string是python3.6引入的新语法，用来替换传统的字符串格式化方法%和format。f-string更方便快捷。环境win1064bitpython3.9介绍f-string是python3.6开始引入的新语法，相比于之前的%和format方法，f-string方法能更快速直观的格式化字符串。f-string形式为：f[F]"{content:format}"，其中，f或者F为标识符
FTDdata·2023-10-25 03:55

python--学生信息管理系统--排序模块

#cyypythonstudy#开发时间：2022/6/1014:18importosfilename='student.txt'defmain():#一直调用主菜单让用户选择whileTrue:menu()choice=int(input('请选择:'))ifchoicein[0,1,2,3,4,5,6,7]:ifchoice==0:#退出系统answer=input('您确定要退出系统吗y/n
¡Venceremo·2023-10-23 20:03

python--学生信息管理系统--查找学生信息模块

#cyypythonstudy#开发时间：2022/6/1014:18importosfilename='student.txt'defmain():#一直调用主菜单让用户选择whileTrue:menu()choice=int(input('请选择:'))ifchoicein[0,1,2,3,4,5,6,7]:ifchoice==0:#退出系统answer=input('您确定要退出系统吗y/n
¡Venceremo·2023-10-23 20:33

python--学生信息管理系统--显示所有学生信息

#cyypythonstudy#开发时间：2022/6/1014:18importosfilename='student.txt'defmain():#一直调用主菜单让用户选择whileTrue:menu()choice=int(input('请选择:'))ifchoicein[0,1,2,3,4,5,6,7]:ifchoice==0:#退出系统answer=input('您确定要退出系统吗y/n
¡Venceremo·2023-10-23 20:33

python--学生管理系统--统计学生总人数

#cyypythonstudy#开发时间：2022/6/1014:18importosfilename='student.txt'defmain():#一直调用主菜单让用户选择whileTrue:menu()choice=int(input('请选择:'))ifchoicein[0,1,2,3,4,5,6,7]:ifchoice==0:#退出系统answer=input('您确定要退出系统吗y/n
¡Venceremo·2023-10-23 20:02

Python--学生信息管理系统

Python基础终于复习完了，之前也没有从项目分析的角度去写过一个项目，所以跟着娟姐的思路，从项目分析到code写一下吧！1.系统设计该系统应该包括七个功能模块：1.录入学生信息模块2.查找学生信息模块3.删除学生信息模块4.修改学生信息模块5.学生成绩排序模块6.统计学生总人数7.显示全部学生信息1.1主函数设计主界面：具体功能：defmain():whileTrue:menum()try:ch
qq_41075961·2023-10-23 19:27

我的爬虫学习之旅 (八) 爬虫实战之京东商品评论爬取

前言：本次针对待爬取数据是由动态网页技术加载出的情形进行分析，在之前的实战案例中，爬取的数据内容都是随着URL变化来实现页面的跳转，而动态加载的形式使得我们原本可以在页面上看到的内容却在源码中找不到。这时，就需要使用另一种分析页面的方式进行爬虫的编写。实战案例：爬取京东商品的用户评论首先打开京东，进入某一指定商品页面，本次选择华为P30的商品信息页面链接地址：https://item.jd.com
Ayrton1031·2023-10-23 05:23

经过这次爬虫学习的感悟

对于需要快速掌握的技能，需要快速上手的技能，我们最快的学习方式，不是读论文，也不是读技术文章，博客，也不是读官方文档，而是看教学视频（付费的）这个能有效的马上解决你的问题，很快速。而针对需要深入的，详细的，细致化的，需要成为领域内的专家，我们此时要做的，不是看什么视频，而是读论文，读心得，找导师，找专家，读官方原版文档，认真钻研。由于有上面经验，所以我们再开启一项事物前，我们需要先分析，我们的目的
小星star·2023-10-23 03:30

python中uniform函数_python--随机函数（random,uniform,randint,randrange,shuffle,sample）

random()random()方法：返回随机生成的一个实数，它在[0,1)范围内运用random()方法的语法：importrandom#random()方法不能直接访问，需要导入random模块，然后通过random静态对象调用该方法random.randomrandom.random()方法用于生成一个0到1的随机浮点数：0>>importrandom>>>print"random():",
weixin_39598954·2023-10-22 18:25

python--孪生素数

找出100以内的所有“孪生数”如果两素数只差为2，这样的两个素数就叫做“孪生数”，代码如下：defis_prime(num):"""判断一个数是否为质数"""foriinrange(2,num//2+1):ifnum%i==0:returnFalsereturnTruedeftwin_prime(num):primes=[]foriinrange(2,num+1):ifis_prime(i):pr
维生素E·2023-10-22 17:39

爬虫学习日记第八篇（爬取fofa某端口的协议排行及其机器数目，统计top200协议）

需求找到最常用的200个协议通过fofa搜索端口，得到协议排名前五名和对应机器的数目。遍历端口，统计各个协议对应的机器数目（不准，但能看出个大概）读写APIAPI需要会员，一天只能访问1000次。importbase64importurllibfromtimeimportsleepimportrequestsres={}defonePort(j):text='port="'+str(j)+'"'t
开心星人·2023-10-22 03:25

Python--练习：使用while循环求1~100之间，所有偶数的和（涉及if判断是不是偶数）

其实就是在之前文章Python--练习：使用while循环求1..100的和-CSDN博客的基础上，再判断如果获取到里面的全部偶数，相加就行了。
唯元素·2023-10-22 00:33

Python--循环中的两大关键词 break 与 continue

在Python循环中，经常会遇到两个常见的关键词：break与continuebreak：代表终止整个循环结构continue：代表中止当前本次循环，继续下一次循环break：英/breɪk/v.打破，打碎，折断；结束（困难或不利局面），打破（僵局）；断绝，中断（关系）跳出循环。continue：英/kənˈtɪnjuː/v.（使）继续，（使）延续；继续说，接着说；移动，延伸；留任，维持原状继续循
唯元素·2023-10-22 00:33

python--实现汇率转换

用python实现美元与人民币之间的货币转换，首先知道美元与人民币的汇率，分别对美元转换为人民币，人民币转换为美元的计算，最后打印出结果。二、使用步骤1.引入库代码如下（示例）：#一美元=6.4866人民币rate=6.4866print('汇率转换')money=input("输入金额（以'$'或者'￥'结尾）：")i=money[-1]print(i)money_1=eval(money[0:
JGran·2023-10-21 23:15

【爬虫教程】2023最详细的爬虫入门教程~

初识爬虫学习爬虫之前，我们首先得了解什么是爬虫。
软件测试狂阿沐·2023-10-21 01:06

Python--使用 for 语句用“ * ”打印菱形

Python–使用for语句用“*”打印菱形#菱形的打印layer=int(input("请输入需要打印的层数："))forxinrange(1,layer+1):#先打印空格space_num=layer-xforyinrange(0,space_num):print("",end="")#在打印*star_num=2*x-1foryinrange(0,star_num):print("*",e
满国·2023-10-19 23:11

Python--随机出拳（random）--if判断--综合案例练习：石头剪刀布

注：涉及相关链接：Python：if判断--综合案例练习：石头剪刀布-CSDN博客Python语言非常的强大，强大之处就在于其拥有很多模块（module），这些模块中拥有很多别人已经开发好的代码，我们可以直接导入到我们的程序中即可使用。比如数据分析，很多都已经写好的模块，可以直接用，这个随机出拳也是一样，随机出拳，就是随机出一个数字，石头剪刀布，0-代表石头，1代表剪刀，2代表布①import导入
唯元素·2023-10-19 00:33

【爬虫学习四】 Python大型爬虫案例: 抓取某电商网站的商品数据 （1）

目标：获取整个“自由行”的产品列表需要用到的链接和网站：电商网站：https://www.qunar.com/在线编码转换：https://tool.oschina.net/encode?type=4以下为观察解析数据得出的链接（第一部分内容）：出发地对应的目的地：https://touch.dujia.qunar.com/golfz/sight/arriveRecommenddep=%E5%8C
黑桃️·2023-10-18 18:40

Python爬虫学习 爬取京东商品

1.本节目标以抓取京东App的商品信息和评论为例，实现Appium和mitmdump二者结合的抓取。抓取的数据分为两部分：一部分是商品信息，我们需要获取商品的ID、名称和图片，将它们组成一条商品数据；另一部分是商品的评论信息，我们将评论人的昵称、评论正文、评论日期、发表图片都提取，然后加入商品ID字段，将它们组成一条评论数据。最后数据保存到MongoDB数据库。2.准备工作请确保PC已经安装好Ch
Python妙脆角·2023-10-18 18:02

python中xpath语法怎么用_python爬虫学习笔记：XPath语法和使用示例

python爬虫：XPath语法和使用示例XPath(XMLPathLanguage)是一门在XML文档中查找信息的语言，能够用来在XML文档中对元素和属性进行遍历。html选取节点XPath使用路径表达式来选取XML文档中的节点或者节点集。这些路径表达式和咱们在常规的电脑文件系统中看到的表达式很是类似。python经常使用路径表达式：实例在下面的表格中，列出一些路径表达式以及表达式的结果：浏览器
欢快奔跑的五花肉·2023-10-18 14:14

基础爬虫实战案例之获取游戏商品数据

获得数据6.加入多线程总结前言在想获取网站的一些数据时，能过人工手动复制和粘贴，这样的效是不非常低的，数量少的时候可能觉得什么事，当数量多起来的时候就会显得很无力，因此爬虫就被按排上场了，本文就介绍了爬虫学习的基础内容
尽君欢·2023-10-17 15:03
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他