python--爬虫学习第11页

python--摄氏温度华氏温度转换

输入华氏温度（以F或f结束），输出对应的摄氏温度；输入摄氏温度（以C或c结束），输出对应的华氏温度。计算公式如下：C=(F-32)/32F=C*1.8+32本题关键在于识别输入得最后一个字符，这里用到的是通过访问数组最后一个元素进行判断代码如下：temp=input("请输入温度值:")num=eval(temp[0:-1])iftemp[-1]in['F','f']:c=(num-32)/32p

酸辣小太阳.·2023-03-30 07:45

Go分布式爬虫学习笔记(十一)

11_Gomod问题来源引入三方库过多,形成复杂的依赖关系依赖过多多重依赖依赖冲突依赖回圈Go依赖管理演进1.5:GOPATHGodepGlideVendor1.11:Gomod引进1.13:Gomod成为主流GOPATH默认路径查看goenvgoenvgopath内部go/├──bin├──pkg└──srcbin:存储通过goinstall安装的二进制文件操作系统使用$PATH环境变量来查找不

fun binary·2023-03-29 22:17

python--如何进行去重

文章目录一、自定义函数去重二、内置函数去重一、自定义函数去重解析思路：1、确定去重目标2、给一个空列表去接收去重后的元素3、遍历需要去重的序列，将重复数据过滤4、打印去重后的数据l=[1,1,3,2,2,3,4,2,5]new=[]foriinl:ifinotinnew:new.append(i)print(new)输出结果：[1,3,2,4,5]二、内置函数去重l=[1,1,3,2,2,3,4,

晚风吹儿·2023-03-29 22:58

python--连接oracle数据库

前言在进行数据库连接之前，一般都需要导入依赖的库，通过专门的库去处理对应的数据库连接，所以没安装对应的处理库的话，需要先进行安装、再导入，导入后即可正常使用。一、安装cx_Oraclepipinstallcx_Oracle二、导入库代码如下（示例）：importcx_Oracle三、创建数据库对象对象=cx_Oracle.connect('用户名','密码','IP地址:端口号/ORCL')四、创

晚风吹儿·2023-03-29 21:12

爬虫学习：正则表达式

爬虫学习：正则表达式文章目录爬虫学习：正则表达式一、前言二、正则表达式是什么？

-北天-·2023-03-29 19:35

三十五、Python--日志logging模块

目录1.什么是日志？2.日志有什么用？3.日志的五个级别4.logging模块5.logging日志系统的四大组件6.logging.getlogger()7.让每个文件都有专属的日志记录文件8.日志记录算法1.什么是日志？日志是一种可以追踪某些软甲运行时所发生的事情的方法。2.日志有什么用？程序调试排错用户行为分析3.日志的五个级别日志登记数值表示描述debug10最详细的日志信息，用于诊断问题

七粒花生米·2023-03-29 01:57

python--函数进阶

1.变量变量作用域根据变量作用域的不同，可以将变量分为全局变量和局部变量全局变量：Python中没有定义在函数内或者类中的变量默认都是全局变量。全局变量作用域从定义开始到程序结束局部变量：Python中定义在函数中的变量就是局部变量。局部变量作用域从定义开始到函数结束全局变量默认保存在全局栈区间，全局变了会在程序结束后自动释放调用函数时系统会自动为这个函数创建一个临时栈区间用来保存函数中产生的数据

jianwei_S·2023-03-28 22:17

Python第三方库（模块）下载和安装（使用pip命令）

在命令行终端输入以下命令：python--

Itmastergo·2023-03-28 21:46

python网络爬虫学习之入门篇

预备知识学习者需要预先掌握Python的数字类型、字符串类型、分支、循环、函数、列表类型、字典类型、文件和第三方库使用等概念和编程方法。Python入门篇：https://www.cnblogs.com/wenwei-blog/p/10592541.htmlPython爬虫基本流程a.发送请求使用http库向目标站点发起请求，即发送一个Request，Request包含：请求头、请求体等。Requ

码上得编程·2023-03-25 01:21

上映17天，票房12.17亿，4千多条影评，看看《一出好戏》是否值得一看

作为爬虫学习者，作者很想知道网友对于黄导的这部电影的感受到底怎么样。本文将会通过Python爬取电影四千多条评论，将爬取的数据存储导数据库，并对影评标题制作词云，最后对网友评分做分析。

python进阶我在路上·2023-03-24 15:22

python爬虫学习任务一（补）：正则表达式

正则表达式：regularexpression，regex，RE，正则表达式是用来简洁表达一组字符串的表达式。正则表达式的优势：简洁正则表达式的作用：表达文本类型的特征（病毒、入侵等）同时查找或者替换一组字符串匹配字符串的全部或者部分--->主要场景正则表达式的使用编译：将符合正则表达式语法的字符串转换成正则表达式特征。正则表达式的语法正则表达式语法由字符和操作符构成经典正则表达式实例^[A-Za

文建国_8aae·2023-03-23 21:28

python 字符串排序 leetcode_LeetCode in python--排序篇

排序的题目较少，简单题和中等题写在一篇，一共9个题。提纲给出一个区间的集合，请合并所有重叠的区间。示例:输入:[[1,3],[2,6],[8,10],[15,18]]输出:[[1,6],[8,10],[15,18]]解释:区间[1,3]和[2,6]重叠,将它们合并为[1,6].思路先按区间的第一个元素大小进行排序，然后将第一个区间放入res列表中，如果当前区间的第一个数比res中最后一个区间的第二

伦敦交易员·2023-03-23 20:52

Python 爬虫学习笔记（二）urllib下载图片和视频

一、urllib的1个类型和6个方法1.response的类型我们打印一下urllib.request方法获取的response是什么类型importurllib.requesturl="http://www.baidu.com"response=urllib.request.urlopen(url)print(type(response))结果是’HTTPResponse’类型，暂且记住，是为了

湫兮如风i·2023-03-20 13:12

2022-07-16

周六--天气很热1、早起运动--10min2、看书30min--done3、完成读书记录-西方现代思想讲义4、学习python--未完成今天下午出去走了走，主要是吃东西，吃了好多炸串和小食，天气太热了。

Jane93·2023-03-20 07:35

python--排序总结

1.快速排序a.原理快速排序的基本思想是在待排序的n个元素中任取一个元素（通常取第一个元素）作为基准，把该元素放人最终位置后，整个数据序列被基准分割成两个子序列，所有小于基准的元素放置在前子序列中，所有大于基准的元素放置在后子序列中，并把基准排在这两个子序列的中间，这个过程称为划分。然后对两个子序列分别重复上述过程，直到每个子序列内只有一个元素或空为止。这是一种二分法思想，每次将整个无序序列一分为

码银·2023-03-18 07:11

python爬虫学习笔记-SQL学习

Sql概述先来看一个例子：小王第一次使用数据库，然后跟数据库来了个隔空对话其实，我们想一想，mysql是一个软件，它有它自己一套的管理规则，我们想要跟它打交道，就必须遵守它的规则，如果我想获取数据，它自己有一套规则，这个规则就是SQL。什么是sql？SQL:结构化查询语言(StructuredQueryLanguage)简称SQL，是一种特殊目的的编程言，是一种数据库查询和程序设计语言，SQL语言

资料小助手·2023-03-17 16:34

python爬虫学习笔记-jQuery

jQuery介绍jQuery是什么jQuery是一个快速、简洁的JavaScript框架。jQuery设计的宗旨是“writeLess，DoMore”，即倡导写更少的代码，做更多的事情。它封装JavaScript常用的功能代码，提供一种简便的JavaScript设计模式，优化HTML文档操作、事件处理等功能。jQuery兼容各种主流浏览器，如IE6.0+、FF1.5+、Safari2.0+、Ope

资料小助手·2023-03-17 16:03

python爬虫学习小组任务3

任务3.1安装selenium并学习3.1.1安装selenium现在的selemium的版本为74.0.3729，windows平台只有32位版本http://npm.taobao.org/mirrors/chromedriver/74.0.3729.6/然后将.exe文件放到chrome的安装文件中，我的目录是C:\Users\文建国\AppData\Local\Google\Chrome把这

文建国_8aae·2023-03-17 14:48

2018-10-07网络爬虫学习笔记

网络爬虫的原理本次学习的资源来源于YouTube视频教程(大数软体有限公司的网络爬虫实战教学)首先是爬虫的工作原理，如下图：Screenshot2018-10-07at3.38.09PM.png那么接下来就是要配置系统，通过pip命令安装requests模块pipinstallrequrests和BeautifulSoup4模块pipinstallBeautifulSoup4，安装完成。判断是否正

hnzyc·2023-03-17 13:46

Python--敏感目录扫描

Python--敏感目录扫描目录扫描的意义在现阶段安全测试中，目录扫描能大大提高渗透测试人员的工作效率。

xzhome·2023-03-16 14:23

Nodejs 爬虫学习

NodeJs入门：https://www.nodebeginner.org/index-zh-cn.html范例：https://blog.csdn.net/yezhenxu1992/article/details/50820629NodeJsBeginner学习笔记：1.函数可以作为变量传递2.回调Node.js异步编程的直接体现就是回调。异步编程依托于回调来实现，但不能说使用了回调后程序就异步

coooCode·2023-03-15 19:41

3.网络爬虫——Requests模块get请求与实战

Requests模块get请求与实战requests简介：检查数据请求数据保存数据前言：前两章我们介绍了爬虫和HTML的组成，方便我们后续爬虫学习，今天就教大家怎么去爬取一个网站的源代码（后面学习中就能从源码中找到我们想要的数据

以山河作礼。·2023-03-14 07:30

爬虫学习笔记（用python爬取东方财富网实验）

参考文章以及视频：(11条消息)爬虫实战|爬取东方财富网股票数据_简说Python的博客-CSDN博客、手把手教你从东方财富网上获取股票数据_哔哩哔哩_bilibili、【Python爬虫案例】如何用Python爬取股市数据，并进行数据可视化_哔哩哔哩_bilibili、python爬虫爬取豆瓣网评分最高的250部电影_哔哩哔哩_bilibili分为3个步骤：1.爬取网页2.逐一解析数据3.保存网

Chris Paul601·2023-03-11 22:27

ChatGPT的N种用法（持续更新中。。。）

目录前言一、语法更正二、文本翻译三、语言转换3-1、Python-->JAVA四、代码解释-1五、代码解释-2六、修复代码错误六、作为百科全书七、信息提取七、好友聊天八、创意生成器8-1、VR和密室结合

ㄣ知冷煖★·2023-03-09 13:07

Java爬虫学习（三）

WebMagic文章目录WebMagic前言一、WebMagic1.1简介1.2架构1.2.1WebMagic的四个组件1.2.2用于数据流传的对象二、WebMagic功能2.1实现PageProcessor2.1.1抽取元素Selectable2.1.2抽取元素API2.1.3获取结果API2.1.4获取链接2.2使用Pipeline保存结果2.3爬虫的配置和启动2.3.1Spider2.3.2

胖橘子2号·2023-02-28 07:57

Python网络爬虫学习笔记（2）BeaufitulSoup库

prettify()方法使用BeautifulSoup库对HTML文件进行内容查找信息的标记的相关概念（非重点）find_all()方法（重点）综合实例：爬取软科2022中国大学排名承接上文：Python网络爬虫学习笔记

北岛寒沫·2023-02-23 07:22

python--石头剪刀布游戏（列表）

本使用了下面几篇文章的知识：python(8)--列表·初阶使用_码银的博客-CSDN博客python(7)--if语句_码银的博客-CSDN博客一、学习目标利用列表实现石头剪刀布游戏二、实验环境Pycharm社区版、win11三、代码先贴代码，有需要的直接拿，想要进一步一起学习的，接着往下看第四个标题呀，亲。起初我想直接在代码后边写注释来着，但是我发现我写的还是挺多的，放在手机上看很不舒服，就搞

码银·2023-02-20 07:27

自动化测试选JAVA还是选Python--听听十年测试老鸟怎么说再决定

目录：导读一、前言二、Java语言VSPython语言三、Java自动化方法VSPython自动化方法四、总结一、前言Python和Java哪个更适合做自动化测试？这是很多测试工程师从功能跨入自动化纠结的问题，今天测试老鸟来带大家详细分析一下！写给还在迷茫中的朋友！首先可以确认的是提出这个问题的肯定是一个菜鸟，因为用Python的只觉得Python好，用Java的只觉得Java好！Java和Pyt

百里测试开发·2023-02-17 03:09

windows批处理，利用python嵌入版快速搭建独立运行环境

继《即插即用Python--嵌入版Python量身定制》之后，我用相同的方法在多个电脑上安装了独立运行环境，但是有几个问题，一是pipcache被遗留在userdata目录里，因此，单独删除python

阆遤·2023-02-07 05:38

Python--列表

列表是可变的，可以改变列表的内容，并且有很多的方法。1、list函数--将序列变成列表>>>L=list('hello')>>>L['h','e','l','l','o']#字符串变列表>>>''.join(L)'hello'#列表变字符串2、列表基本操作列表可以使用所有适用序列的标准操作。2.1、元素赋值>>>x=[1,1,1]>>>x[1]=2>>>x[1,2,1]2.2、分片赋值一次给多个元

VB过得VB·2023-02-04 18:36

Python--爬取任意贴吧网页信息

Python–爬取任意贴吧网页信息并且保存在本地提示：①.需要提前使用pip安装requests库，或者pycharm自行安装，在py文件中能够入requests库即可。②.本文可爬取任意贴吧，只需要加上你需要爬取的参数即可。③.本文不做任何教学，只将代码附上，有需要学习的或者借鉴的从代码中自行学习！，介意勿看。完整代码附上"""需求：爬取任意贴吧的网页信息，并保存在本地。"""importreq

活在海里的胖乌龟·2023-02-02 15:21

python爬虫学习笔记-scrapy框架(3)

ImagePipeLines的请求传参环境安装：pipinstallPillowUSER_AGENT='Mozilla/5.0(Macintosh;IntelMacOSX10_15_7)AppleWebKit/537.36(KHTML,likeGecko)Chrome/98.0.4758.109Safari/537.36'需求：将图片的名称和详情页中图片的数据进行爬取，持久化存储。分析：深度爬取：

资料小助手·2023-02-01 14:56

python--转换wrf输出的风场数据为网页可视化的json格式

前言：一般网页可视化风场中的数据都是json格式，而如果我们希望将wrf模式模拟输出的风场数据在网页中进行展示，这就需要先将wrfoutput数据转换为网页可以识别的json格式。这里主要需要用到json库，主要的实现方式就是将读取的风场风量U，V转换为字典并存到json文件中同时，由于wrf模拟的数据一般是非等间距的网格，需要先将数据进行插值，插值到等间距的网格，这里可以通过NCL的函数rcm2

简朴-ocean·2023-02-01 09:48

python--对站点数据做EOF并做插值绘制填色图

前言最近，师弟在学习使用python复现毕设论文，正好之前没有处理过站点数据，也没咋用过EOF，特此记录下使用python处理站的数据的过程。读取站点资料数据对站点数据进行插值，插值到规则网格上绘制EOF第一模态和第二模态的空间分布图绘制PC序列关于插值，这里主要提供了两个插值函数，一个是一般常用的规则网格插值:griddata另一个是metpy中的:inverse_distance_to_gri

简朴-ocean·2023-02-01 09:48

python--根据任意非网格经纬度坐标，找到均匀网格点上最接近的经纬度坐标

需求：根据非规则经纬度坐标，查找均匀网格点上最接近的经纬度坐标，并提取该点上的变量。思路：1、首先选取一个较大的经纬度范围，将你的非规则经纬度坐标包含进去；2、计算均匀网格点上经纬度与非规则经纬度坐标的绝对值距离；3、选择绝对值距离最短的点的索引坐标；4、根据索引坐标提取最邻近的经纬度坐标5、选取最近邻经纬度坐标对应的变量数据：海表面高度异常数据：sla分辨率：0.25X0.25数据类型：2017

简朴-ocean·2023-02-01 09:18

Python爬虫学习笔记_DAY_29_Python爬虫之scrapy框架项目结构与基本语法详细介绍【Python爬虫】

p.s.高产量博主，点个关注不迷路！目录I.scrapy框架的项目结构II.robots协议III.scrapy框架的基本语法介绍I.scrapy框架的项目结构承接上一篇笔记，开始学习scrapy框架的项目结构：首先，我们可以先新建一个scrapy的项目(这里以获取58同城网页数据为例)：我们先打开终端，cd指令进入上一篇笔记新建的文件夹中(或者任意新建一个空的文件夹也可以)，在这个文件夹下，我们

跳探戈的小龙虾·2023-01-31 16:50

python爬虫学习第一天

王向上！·2023-01-31 10:31

2020最新Python网络爬虫学习路线出炉，赶紧下载

想学习爬虫的各位小伙伴有不少是想自学的，为了各位小伙不走弯路，特地奉上Python网络爬虫路线图，希望对大家的学习有所帮助！图片比较大，好像无法上传，只能截图了……大家有需要原图的，可以加QQ：242988847获取

闪现码狗·2023-01-30 19:54

python--循环绘制ERA5风场的空间分布图

使用python封装绘图函数循环绘制ERA5风场资料的空间分布图通常，在处理气象海洋资料时，经常会绘制风场的空间分布图进行简单分析，而常常需要连续绘制多天，并将多张子图绘制到同一个图片中，因此这就需要用到循环绘图。同时考虑到下载的ERA5风场资料的经度排列顺序是-180~180°，这里也简单进行了经度转换，将其转换为0~360的排列顺序。根据每个子图的数据，将选取的时间也在循环中加上考虑到绘制全球

简朴-ocean·2023-01-30 13:09

python-- numpy学习总结

目录一、Numpy常见用法1.创建数组2.索引与切片3.dtype4.一般方法4.1arange4.2zeros4.3ones4.4eye4.5rand4.6randint4.7maxminargmaxargmin二、NumPy进阶用法1.reshape2.合并与分割2.1concatenate2.2array_split3.搜索与筛选3.1搜索3.2筛选4.排序5.三角函数6.随机6.1随机概率

斑马！·2023-01-30 12:35

python3爬虫学习之——百度百科词条内链获取

这是跟着《python网络数据采集》这本书做的一个小练习。书里爬的是维基，我自己写的是百度百科。爬取百科页面用了BeautifulSoup，注意的是百度百科的文本内容全都放在中。由于百度百科URL中链接中含有中文字符，而python3中urllib.parse中quote()函数可以处理中文字符，因此创建了一个函数用于处理爬虫起始时的中文字符。defquote(item):ifitemisNone

取名字真的很烦啊·2023-01-30 07:30

python--数据容器--str字符串

目录字符串字符串查找字符串替换字符串的分割字符串的规整操作（去前后空格，只去字符串前后的，不去中间的）字符串的规整操作（指定的字符串）字符串遍历编辑字符串尽管字符串看起来并不像：列表、元组那样，一看就是存放了许多数据的容器但不可否认的是，字符串同样也是数据容器的一员字符串是字符的容器。一个字符串可以存放任意数量的字符和其他容器如：列表、元组一样，字符串也可以通过下标进行访问从前向后，下标从0开始从

像影子追着光梦游_·2023-01-28 13:56

python爬虫学习笔记3

【1、selenium】1、什么是selenium？(1)Selenium是一个用于Web应用程序测试的工具(2)Selenium测试直接运行在浏览器中，就像真正的用户在操作一样(3)支持通过各种driver(FirfoxDriver,IternetExplorerDriver,OperaDriver,ChromeDriver)驱动真实浏览器完成测试(4)selenium也是支持无界面浏览器操作的

柒月烈阳·2023-01-26 16:16

python爬虫学习笔记-mysql数据库介绍&下载安装

数据库概述为什么要使用数据库？那我们在没有学习数据库的时候，数据存放在json或者磁盘文件中不也挺好的嘛，为啥还要学习数据库？文件中存储数据，无法基于文件直接对数据进行操作或者运算，必须借助python将数据读取到计算机内存中然后基于Python程序操作数据，麻烦而且性能不高。使用文件存储数据，无法实现数据的共享。什么是数据库呢？先介绍几个概念：数据：Data描述事物的符号记录称为数据，描述事物的

资料小助手·2023-01-26 03:17

python爬虫学习笔记-JavaScript学习

JavaScript的历史JavaScript的历史1992年底，美国国家超级电脑应用中心（NCSA）开始开发一个独立的浏览器，叫做Mosaic。这是人类历史上第一个浏览器，从此网页可以在图形界面的窗口浏览。但是该浏览器还没有面向大众的普通用户。1994年10月，NCSA的一个主要程序员JimClark，成立了一家Netscape通信公司。这家公司的方向，就是在Mosaic的基础上，开发面向普通用

资料小助手·2023-01-26 03:47

python爬虫学习笔记-selenium

简介selenium是一种浏览器自动化的工具，所谓的自动化是指，我们可以通过代码的形式制定一系列的行为动作，然后执行代码，这些动作就会同步触发在浏览器中。环境安装下载安装selenium：pipinstallselenium下载浏览器驱动程序：http://chromedriver.storage.googleapis.com/index.html查看驱动和浏览器版本的映射关系：http://bl