python--爬虫学习

Python---练习：列表赋值---追加append尾部追加元素，追加的是一个元素整体

相关链接：Python--列表及其应用场景---增、删、改、查。
唯元素·2023-12-03 21:44

Python---格式化输出与%百分号----涉及转义符 \ 反斜杠的使用

相关链接Python--格式化输出中的转义符号----\t制表符（空格的）和\n（换行的）_唯元素的博客-CSDN博客Python---字符串（用单、双引号、三单/双引号定义。
唯元素·2023-12-03 21:14

爬虫学习-基础（HTTP原理）

目录一、URL和URI二、HTTP和HTTPS（1）HTTP（2）HTTPS（3）HTTP与HTTPS区别（4）HTTPS对HTTP的改进：双问的身份认证三、TCP协议（1）TCP三次握手:（2）TCP四次挥手四、HTTP请求过程五、请求（1）请求方法（2）请求的网址（3）请求体六、响应（1）响应（2）响应头（3）响应体七、HTTP2.0（1）二进制分帧层（2）多路复用（3）流控制（4）服务端推送
吗喽也是命·2023-12-03 11:27

爬虫学习（一）

文章目录文件目录结构打开文件操作爬取网页的理解尝试文件目录结构打开文件操作爬取网页的理解尝试这个放回值为请求正常
wniuniu_·2023-12-03 10:20

python--字符串）

python基础–字符串字符串概念及特点包含那零个或者多个字符的有序不可变序列特点：有序性：添加顺序和显示顺序一致，添加字符的适合，会设置编号，编号是从0开始的，被称为索引、下标、角标【有索引、有切片】不可变性：在内存地址不变的情况下，字符串的内容不允许发生变化如果字符串内容发生变化,内存地址一定发生变化定义字符串1.使用引号【一对单引号，一对双引号，一对三引号[预编译文本保持内容的原样输出]】2
谪 语·2023-12-03 07:35

Python--使用布林线设计均值回归策略

在本教程中，我们将探讨均值回归的概念以及如何使用Python中的布林线设计交易策略。均值回归是一种流行的交易策略，它基于这样的假设：随着时间的推移，资产价格往往会恢复到历史平均水平。布林线(BollingerBands)由约翰·布林格(JohnBollinger)开发，是一种技术分析工具，可用于识别均值回归交易策略的潜在进入点和退出点。我们将从理解均值回归和布林带背后的理论开始，然后我们将深入研究
Omer_·2023-12-02 14:02

爬虫学习 逆向爬虫(六)

多任务异步协程协程:更高效的利用CPUimporttimedeffunc():print("黎明")time.sleep(3)print("还是黎明")func()等待时机长sleep时CPU不再工作IO操作(费时不费力)->阻塞线程运行阻塞后移出主线程移动到下一个4个任务一个线程线程池多线程切换消耗资源,而此不耗event_loop轮巡python实现协程importasyncio#借助even
name_S56·2023-11-30 11:47

python--自动生成并处理Excel文件中的成绩数据

题目：假设一个学期内所有课程允许多次考试，学生可以随时参加考试，系统自动将每次成绩添加到Excel文件中，包含姓名、课程、成绩三列。现期末开始统计所有学生每门课程的最高成绩。编写程序，模拟生成记录若干同学各课程多次成绩的Excel文件，统计所有学生每门课程的最高成绩，并将结果写入新的Excel文件。考察：1）扩展库openpyxl的安装与使用；2）扩展库openpyxl对Excel文件的操作方法，
～祝今在·2023-11-29 19:33

爬虫学习 异步爬虫(五)

多线程多进程协程进程运行中的程序线程被CPU调度的执行过程,操作系统运算调度的min单位在进程之中,进程中实际运作单位fromthreadingimportThread#创建任务deffunc(name):foriinrange(100):print(name,i)if__name__=='__main__':#创建线程t1=Thread(target=func,args=("一一一",))#Th
name_S56·2023-11-29 09:03

爬虫学习 数据解析 (3.5)

xpath解析Xpathxml文档中查找信息的语言“标签”–结点模块安装:pipinstalllxmlfromlxmlimportetree#er=etree.XML(xml)et.xpath("/book")#"/"表示根结点et.xpath("/book/name/text()")#et.xpath("/book//nick")#"//"表示所有et.xpath("/book/*/nick")
name_S56·2023-11-29 09:33

爬虫学习 requests进阶(四)

进阶概述我们在之前的爬虫中其实已经使用过headers.header为HTTP协议中的请求头.一般存放一些和请求内容无关的数据.有时也会存放一些安全验证信息.比如常见的User-Agent,token,cookie等.通过requests发送的请求,我们可以把请求头信息放在headers中.也可以单独进行存放,最终由requests自动帮我们拼接成完整的http请求头.本章内容:模拟浏览器登录->
name_S56·2023-11-29 09:33

爬虫学习 爬虫概述&入门(二)

爬虫合法如菜刀是一把双刃剑反爬机制反反爬机制robots.txt协议君子协议,规定那些数据不可爬取。搜索引擎第一个爬虫的开发模拟浏览器fromurllib.requestimporturlopen#url_liburl_openfromurllib.requestimporturlopenurl="http://www.baidu.com"#httpsresp=urlopen(url)#print
name_S56·2023-11-29 09:32

爬虫学习 数据解析(三)

提取数据提供四种解析方式re解析(正则表达式,难写)bs4解析(效率低)xpath解析(简洁好用)pyquery解析(简单便捷)重点讲rexpath结果OK,就OK,方式无所谓正则表达式全新的表达式语言优点:速度快,效率高,准确性高,严谨缺点:新手上手难度有点儿高.在线正则表达式测试普通字符跟ctrl+F一样...元字符具有固定含义的特殊符号.除换行符的所有字符,(pythonre模块中是个坑?)
name_S56·2023-11-29 09:32

c#使用正则表达式获取TR中的多个TD_python爬虫学习笔记：XPath语法和使用示例

python爬虫：XPath语法和使用示例XPath(XMLPathLanguage)是一门在XML文档中查找信息的语言，可以用来在XML文档中对元素和属性进行遍历。选取节点XPath使用路径表达式来选取XML文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。常用路径表达式：实例在下面的表格中，列出一些路径表达式以及表达式的结果：
weixin_39845206·2023-11-28 07:59

爬虫学习2：如何引入Beautiful Soup

我们第一步利用request包拉出了网页的源代码：下面我们需要引入一个BeautifulSoup来提取代码中我们想要的数据。首先跟安装requests一样，在cmd命令行里输入“pipinstallbeautiful4”，安装即可。然后在编辑器引入“frombs4importBeautifulSoup”，如果这个库没有被用，是呈灰色，并显示Unusedimportstatement，指的是这个库没
JLOVEDANZI·2023-11-27 22:17

送书——《Python 3网络爬虫开发实战》

这本书豆瓣评分9.0，是数万爬虫学习者的必读经典。一本好书往往可以另读者获益匪浅，良好的口碑更是对这本书品质的认定。
Python进阶者·2023-11-27 17:15

python--约瑟夫环问题

任务描述据说著名历史学家Josephus有过以下的故事：Josephus及他的朋友共41人围成一个圆圈，由第1个人开始报数，每数到3该人就必须出去，然后再由下一个人重新报数，直到圆圈上少于3人为止。Josephus将朋友与自己安排在第16个与第31个位置，成为最后剩下的人。‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪
肥嘟嘟左卫门546·2023-11-27 05:10

python--不定方程求解

任务描述给定正整数a,b,c，求不定方程ax+by=c关于未知数x和y的所有非负整数解组数并输出。部分用例有时间限制。输入格式‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬输入为一行，包含三个正整数a、b、c，两个整数之间用单个空格隔开，本题保证每个数均不大于10000.输出格式‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪
肥嘟嘟左卫门546·2023-11-27 05:10

python--统计文件中的字符

任务描述open(name[,mode[,buffering]])函数可以打开诸如txt，csv等格式的文件。‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬如下定义read_file()函数：defread_file(file):"""接收文件名为参数，读取文件中的数据到字符串中，返回字符串"""withopen(f
肥嘟嘟左卫门546·2023-11-27 05:10

python--绝对值排序

任务描述读入一个列表，按照绝对值从大到小排序，如果绝对值相同，则正数在前面。提示：使用list1=eval(input())直接读入一个列表。输入格式‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬题目的输入为一行，是一个元素类型都是数值的列表，如：[3,-4,2,4]输出格式‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪
肥嘟嘟左卫门546·2023-11-27 05:40

python--列表删除数据

任务描述从输入的列表ls中，删除指定的数据n，并保持其他数据顺序不变。‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬第一行输入一行以空格间隔的整数，并放入列表ls‪‬‪‬‪‬‪‬‪‬‮‬‪‬‭‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‫‬‪‬‪‬‪‬‪‬‪‬‪‬‮‬‪‬‪‬第二行输入一个整数n‪‬‪‬
肥嘟嘟左卫门546·2023-11-27 05:40

python--身份证号升位

任务描述第二代居民身份证是依据2003年6月28日第十届全国人大常委会第3次会议通过的《中华人民共和国居民身份证法》实施的。第一代身份证十五位数升为第二代身份证十八位数的一般规则是：第一步，在原十五位数身份证的第六位数后面插入19（1905年1月1日以后出生）或20（2000.1.1-2004.12.31出生），这样身份证号码即为十七位数；第二步，按照国家规定的统一公式计算出第十八位数，作为校验码
肥嘟嘟左卫门546·2023-11-27 05:40

python--列表类型翻转教学

第1关：输入数据创建列表任务描述本关任务：编写一个能将用户输入的数据加入到列表中的小程序。相关知识为了完成本关任务，你需要掌握：1.创建空列表2.向列表中增加数据创建空列表1.list()函数可以创建一个空列表score_ls=list()#创建一个空列表，命名为score_ls，_ls表示对象为列表类型1.[]一对空的方括号可以表示一个空列表score_ls=[]#创建一个空列表，命名为scor
肥嘟嘟左卫门546·2023-11-27 05:07

python--队列模块（自带）

文章目录1.FIFO(Queue)--先进先出2.LIFO(LifoQueue)--后进先出3.priority(PriorityQueue)--优先队列4.deque--双端队列Python自带的队列模块有4种队列：FIFO(Queue):firstinfirstout先进先出LIFO(LifoQueue):lastinfirstout后进先出，类似于栈的数据结构priority(Priorit
小鱼羽化·2023-11-26 04:54

python爬虫学习路径

对代码的编辑也太不友好了，看链接吧，有道云支持md简直太贴心python爬虫学习路径
桃李酱·2023-11-25 19:22

爬虫学习笔记（1）-- 利用Python从网页抓取数据

最近想从一个网站上下载资源，懒得一个个的点击下载了，想写一个爬虫把程序全部下载下来，在这里做一个简单的记录Python的基础语法在这里就不多做叙述了，黑马程序员上有一个基础的视频教学，可以跟着学习一下本篇博客为基础章：利用Python从网页端抓取数据，闲话不多说，开始正题：首先需要学习这几个模块：1webbrowser：Python自带的模块，打开浏览器获取到指定的页面2requests：从英特网
baliang9989·2023-11-25 09:10

python输入--键盘接收不同类型数据

二、使用步骤1.一行内数据少2.一行接收多个整型数据3.键盘接收一个列表总结前言python--我们常常要处理input()接收过来的数据，下面的文章让你可以更深一步的处理不同情况的input()输入数据一
lian&&coding·2023-11-24 13:47

python--类、对象、方法、函数、属性

⼀、类、对象、⽅法、函数和属性的区别和理解类：采⽤Class作为关键字进⾏定义的代码块，表⽰的是⼀种类别对象：实例化之后的类，对类中的形参进⾏了赋值，赋予其真正的含义或数值⽅法：使⽤def作为关键词，定义在类内的函数函数：使⽤def作为关键词，但是没有在类内进⾏定义，即定义在类外属性：类内的称呼，其实就是类内的变量，同⼀个类内的不同⽅法内的变量都是这个类的属性，也就是这个类的变量我们对类进⾏定义好
柠檬C927·2023-11-22 16:31

python--文件的循环导入及模块查找顺序

目录文件循环导入问题模块的查找顺序验证模块查找顺序的方法绝对导入与相对导入文件循环导入问题上一篇我们介绍了模块/文件的导入,现在重点讲一下文件的导入.两个文件彼此导入彼此,循环导入的时候极有可能出现某个名字还没有被创建就是用的情况导致报错,所以以后写代码的时候要尽量避免出现循环导入的问题.如果确实需要循环导入就要确保双方使用的名字都必须'提前定义好'出现错误的解决方法:1.将导入模块的句式定义在名
Yietong309·2023-11-21 11:01

第十一单元 python--元组和字典

一、元组Python的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。1.1元组的格式格式变量名=(,,,,)案例aTuple=(23,35,56,34,11,21)1.2访问元组通过索引取数据案例:索引值存在aTuple=(23,35,56,34,11,21)print(aTuple[2])56案例:索引值不存在aTuple=(23,35,56,34,11,21)
筱屈·2023-11-20 20:32

Python爬虫学习之requests

Python爬虫学习之requestsrequests的使用安装使用Get请求样例添加参数添加请求头Post请求样例添加参数添加请求头数据提取Cookie设置SSL证书验证requests的使用安装在开始使用之前
侠~~·2023-11-20 20:51

python中import requests是什么意思_爬虫学习1：如何import requests

1、首先，需要安装python的时候勾选pip并下载requests包（地址：https://github.com/requests/requests）2、然后运行cmd，输入pipinstallrequests这里如果报错，说找不到pip的话，先去python的scripts文件下看看有没有pip.exe，如果有，那就去系统的高级设置中，添加环境变量到PATH路径中，这里需要添加python本身
weixin_39847722·2023-11-20 18:34

【python爬虫学习篇】请求模块requests

目录1，请求模块requests1.1请求方式1.1.1，GET请求1.1.2，爬取二进制数据1.1.3,实现请求地址带参（GET带参请求）1.1.4，POST请求1.2，复杂的请求模式1.2.1，添加请求头1.2.2，requests.exceptions.InvalidHeader:Invalidreturncharacterorleadingspaceinheader:User-Agent报
致奋斗的自己·2023-11-20 18:18

数据结构与算法--Python--树

树（英语：tree）是一种抽象数据类型（ADT）或是实作这种抽象数据类型的数据结构，用来模拟具有树状结构性质的数据集合。它是由n（n>=1）个有限节点组成一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。它具有以下的特点：每个节点有零个或多个子节点；没有父节点的节点称为根节点；每一个非根节点有且只有一个父节点；除了根节点外，每个子节点可以分为多个不
__Miracle__·2023-11-20 16:01

【python爬虫学习篇】初识网络爬虫以及了解Web前端

目录1，初识爬虫1.1，网络爬虫概述1.2，爬虫的分类1.3，网络爬虫的基本原理1.4，搭建开发环境2，了解web前端2.1，HTTP基本原理2.1.1HTTP协议2.1.2，Web服务器的工作原理2.1.3，客户端向服务器端发起请求时，常用的请求方法：2.1.4，HTTP状态码含义2.1.3，浏览器中的请求和响应2.2，HTML语言2.2.1，什么是HTML2.2.2,HTML文件结构2.3，C
致奋斗的自己·2023-11-20 12:49

爬虫学习(零散记录)

HTTP基本原理URL是URI的子集，但是因为URN现在不怎么用了，可以认为URI和URL是一样的了URL组成schema同protocol，都是协议的意思username和password可以尝试一下https://ssr3.scrape.center和https://admin:[email protected]除了80(http)和443(https)两个默认端口会忽视
最 上 川·2023-11-20 09:59

python爬虫笔记_Python 爬虫学习笔记之多线程爬虫

likeoneliketwolikethreehateonehatetwohatethree百度一下好123
weixin_39854681·2023-11-17 09:07

Python大数据之Python爬虫学习总结——day13 正则表达式

正则表达式1.web服务器2.体验爬虫3.正则表达式_匹配知识点：match匹配:search匹配:findall匹配:4.匹配模式练习需求：方式一：方式2：5.正则表达式_模式知识点：示例：6.正则表达式综合练习7.贪婪模式和非贪婪模式示例：8.正则表达式标志位知识点:1.web服务器web服务器给浏览器响应的是是一个Response对象，这个对象中content就是咱们给浏览器响应的资源#实战
笨小孩124·2023-11-17 09:15

Python大数据之Python爬虫学习总结——day14_爬取图片和数据

爬取图片和数据1.爬虫入门知识点:示例:2.爬取图片爬取图片方式1:爬取图片方式2:3.爬取视频实战:4.爬取文本爬取文本方式1:爬取文本方式2:1.爬虫入门知识点:网络爬虫：（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。爬虫步骤:1.准备有效的URL
笨小孩124·2023-11-17 09:45

python--生成器generator

参考文章：csdn：(116条消息)Python函数学习-生成器函数_火星有星火的博客-CSDN博客1.生成器是什么？在Python中，生成器（generator）是一种特殊的迭代器，它是通过函数来实现的。生成器函数在执行过程中可以暂停和继续执行，可以动态地生成一系列值，而不需要一次性生成所有值，从而节省了内存空间和计算资源。可以由生成器表达式得到。可以使用yield关键字得到一个生成器函数，再通
小白脸cty·2023-11-17 09:48

爬虫学习笔记（一）——爬取酷狗TOP500

参考学习网址：https://python123.io/python/muxiatong/5dd14d1b71efdc10be55ee22---------------------------------------------------------------------------------------------------------------------工具：用到requests库
roadkiller.·2023-11-16 19:13

python--集合的关系(集合的交集 子集 超集）判断 与 （交集、并集、差集、对称差集)的获取

集合的是否相等'''集合的相操作'''print('------建立的集合-------')s={10,20,30,40}s1={30,20,40,10}print(s==s1)#集合是无序排列的只有Key相同和顺序无关print(s!=s1)集合的交集子集超集'''集合的相操作'''print('------建立的集合-------')s={10,20,30,40}s1={30,20,10}#子
¡Venceremo·2023-11-15 02:47

Python---集合操作的方法---增---add() update() 、删-- remove() discard() pop()、查--- in ，not in，遍历操作。。

集合相关链接：Python--集合----无序，去重，空集合只能用set()方法-CSDN博客集合----增操作①add()方法：向集合中增加一个元素（单一）-----单独一个元素add英/æd/v.添加
唯元素·2023-11-15 02:16

爬虫学习笔记

爬虫学习笔记爬虫的概念模拟浏览器发起请求，获取响应数据爬虫的流程url--->响应内容--->抓取数据--->保存到数据库爬虫要根据当前URL地址对应的响应为准，当前URL地址的elements的内容和
大鱼不会飞丶·2023-11-14 14:56

Python--集合----无序，去重，空集合只能用set()方法

集合（set）是一个无序的不重复元素序列。特点：天生去重无序集合定义：在Python中，我们可以使用一对花括号{}或者set()方法来定义集合，但是如果你定义的集合是一个空集合，则只能使用set()方法。代码：#定义一个集合s1={10,20,30,40,50}print(s1)print(type(s1))#定义一个集合：集合中存在相同的数据s2={'刘备','曹操','孙权','曹操'}pri
唯元素·2023-11-14 05:13

Python---综合案例：通讯录管理系统---涉及点：列表、字典、死循环

需求：开个一个通讯录的管理系统，主要用于实现存储班级中同学的信息（姓名、年龄、电话）涉及点：列表、字典、死循环相关链接：Python--列表及其应用场景---增、删、改、查。
唯元素·2023-11-14 05:03

python--数据结构--二叉排序树

#search_bs_tree.py"""二叉排序树又称为二叉查找树，它是一种特殊的二叉树。其定义为：二叉树排序树或者时一棵空树，或者是具有如下性质的二叉树。(1)若它的左子树非空，则左子树上所有结点的值均小于根结点的值。(2)若它的右子树非空，则右子树上所有结点的值均大于（或大于等于）根结点的值。(3)它的左右子树也分别为二叉排序树。"""fromcollectionsimportdequefr
Chasing__Dreams·2023-11-13 22:16

Python----元组的定义与使用

相关链接：Python--列表及其应用场景-CSDN博客例如：num_list=[10,20,30]num_list[0]=100所以这个时候，想要存储多个数据且数据不允许更改，就可以用元组。
唯元素·2023-11-13 15:10

python--前端加密（aes）

1概念AES（AdvancedEncryptionStandard）是一种对称加密算法，也就是加密和解密使用相同的密钥。它是目前应用最广泛的加密算法之一，被广泛应用于数据加密、网络安全、电子商务等领域。AES算法的加密过程如下：首先需要选择一个密钥，密钥长度可以是128位、192位或256位。将明文按照一定的分组方式分成若干个块，每个块的长度为128位。对每个块进行加密，加密过程中使用的密钥是相同
星空彼岸007·2023-11-13 05:22

python删除行_python--文件操作删除某行

随笔-54文章-4评论-3方法一：importshutilwithopen('/path/to/file','r')asf:withopen('/path/to/file.new','w')asg:forlineinf.readlines():if'/local/server'notinline:g.write(line)shutil.move('/path/to/file.new','/path
weixin_39951419·2023-11-12 14:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他