python--爬虫学习

python--模拟掷骰子游戏

通过python模拟掷骰子的游戏题目是：双骰子赌博游戏玩法如下。玩家投掷两个骰子，如果点数和是7或者11，那么该玩家胜，计算玩1000次后玩家胜的概率。模拟1000次之后，输出结果并绘制直方图显示计算各点数的分布。由于每次掷骰子结果都是随机的，所以最终显示的概率每次运行程序都不同。python代码如下所示：#-*-coding:utf-8-*-"""Createdon%(date)s@author
简朴-ocean·2023-09-05 03:19

爬虫学习记录1-errorcode 50（有道翻译）

1.首先用了urllib包中的request模块。在这个模块中response1=urllib.request.Request(url,data,header)response=urllib.request.urlopen(response1)这两步的结合就等于urllib.request.urlopen（url，data），但是有点遗憾的是urlopen中不能传入header部分。所以当需要结合
二傻吧·2023-09-05 00:54

推荐一条高效的Python爬虫学习路径！

如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。image对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有的人认为学爬虫必须精通Python，然后哼哧哼哧系统学习Python的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，
小姐姐吖_6271·2023-09-03 03:48

Python爬虫学习（2）：爬取网站返回的内容为乱码解决方法

1、爬取某网站内容时，返回的结果为乱码，如图：2、原因解释Requests会基于HTTP头部响应的编码做出有根据的推测，当访问r.text时，Requests会使用其推测的文本编码。查看网页返回的字符集类型：r.apparent_encoding查看自动判断的字符集类型：r.encoding可以看到Requests推测的文本编码（ISO-8859-1）与源网页编码（utf-8）不一致，因此会导致乱
兔飞小朋友·2023-09-02 19:30

Python所有方向的学习路线图！！

学习路线图上面写的是某个方向建议学习和掌握的知识点汇总，举个例子，如果你要学习爬虫，那么你就去学Python爬虫学习路线图上面的知识点，这样学下来之后，你的知识体系是比较全面的，比起在网上找到什么就学什么
退休程序猿·2023-09-02 16:07

python--连接oracle数据库

python--连接oracle数据库前言一、安装cx_Oracle二、导入库三、数据库操作实例3.1连接3.2数据库查询3.3数据库插入3.4实例从某网站上面爬取彩票号码四、异常4.1、运行时，出现连接数据库失败
dsdasun·2023-09-01 20:33

爬虫学习（四）——使用代理IP

文章目录一、为什么使用代理IP？二、使用步骤1.查询代理IP2.程序测试首先ip代理程序如下：使用ip代理进行网页访问3.遇到的问题1）http协议问题2）网络连接问题一、为什么使用代理IP？使用自己的IP频繁访问一个网站，总会让自己觉得不安，并且该网站的管理人员也不希望看到这样频繁的同一个的IP访问，因此为了使我们双方和谐一点，通常第一步的做法就是在你的程序中加入延迟time.sleep(5)。
_Tunan·2023-09-01 11:08

python--列表list

列表list是python基本的数据结构，是可变序列，允许有重复元素。环境win1064bitpython3.9创建列表的创建可以通过内置的list类创建，也可以用方括号[]创建，列表中的元素可以是任意数据类型，列表可嵌套列表。list通过list类创建列表实例，传入的参数必须是可迭代对象。常见的数据类型tuple,list,set,dict,str等都是可迭代对象。#元组创建列表list((1,
FTDdata·2023-08-30 17:52

爬虫学习日志7--正则表达式提取json字符串

前言这篇文章主要讲述正则表达式中对于json的提取。一、代码#根着视频学习的代码，记录分享一下#1.导入相关模块importrequestsimportrefrombs4importBeautifulSoup#2.发送请求，获取疫情首页内容response=requests.get('https://ncov.dxy.cn/ncovh5/view/pneumonia')home_page=resp
@白圭·2023-08-30 13:19

python爬虫学习小组 任务2

任务2.1学习BeautifulSoup英语生词本parsern.剖析器;prettifyv.修饰;siblingn.兄弟，姐妹;[生]同科，同属;[人]氏族成员;在cmd命令行窗口安装BeautifulSoup库：pipinstallbeautifulsoup4如何使用BeautifulSoupfrombs4importBeautifulSoupsoup=BeautifulSoup('data'
文建国_8aae·2023-08-28 22:30

Vue:插槽，与自定义事件

1.插槽slotTitle列表书籍-->-->Java-->Linux-->Python-->-->//todo里面的内容会替代todo里的slot部分，div里面的slot属性代表插到具体name的slot
荭色海湾·2023-08-28 01:16

python--文件管理系统

文件系统管理项目说明文档项目说明基本任务在内存中开辟一个空间作为文件存储器，在其上实现一个简单的文件系统退出这个文件系统时，需要该文件系统的内容保存到磁盘上，以便下次可以将其回复到内存中来具体要求文件存储空间管理可采取链接结构（如FAT文件系统中的显式链接等）或者其他学过的方法空闲空间管理可采用位图或者其他方法文件目录采用多级目录结构，目录项目中应包含：文件名、物理地址、长度等信息需提供格式化，创
biuheartburn·2023-08-27 16:13

爬虫学习记录4-BeautifulSoup解析html语句，检索

在beautifulsoup中我们可以通过检索其标签名称得到对应的内容，也可以通过直接检索关键字得到内容，下面将进行实例：importrequestsfrombs4importBeautifulSoupr=requests.get("https://www.baidu.com")soup=BeautifulSoup(r.text,'html.parser')1.find_all()若要查找返回获取
二傻吧·2023-08-27 11:09

Python所有方向的学习路线图，萌新少走弯路！！

学习路线图上面写的是某个方向建议学习和掌握的知识点汇总，举个例子，如果你要学习爬虫，那么你就去学Python爬虫学习路线图上面的知识点，这样学下来之后，你的知识体系是比较全面的，比起在网上找到什么就学什么
退休程序猿·2023-08-27 05:03

Python爬虫学习之旅：从入门到精通，要学多久？

本文将从多个角度探讨Python爬虫学习的时间成本，并提供一些实际案例，帮助读者更好地了解学习Python
一只会写程序的猫·2023-08-26 21:39

从零开始学习Python爬虫：详细指南

本文将为大家提供基于Python的爬虫学习指南，从基础知识到实践项目，一步步带您入门，并提供相关学习资源和注意事项。一、学习Python基础知识Python是一种业界广泛使用的编程语言，
一只会写程序的猫·2023-08-26 19:55

Python 爬虫学习路线图

当今大数据的时代，网络爬虫已经成为了获取数据的一个重要手段。但要学习好爬虫并没有那么简单。首先知识点和方向实在是太多了，它关系到了计算机网络、编程基础、前端开发、后端开发、App开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向的内容，它像一张大网一样把现在一些主流的技术栈都连接在了一起。正因为涵盖的方向多，因此学习的东西也非常零散和杂乱，很多初学者搞不清楚究竟要学习哪些知识，学习过
AudiA6LV6·2023-08-26 03:44

Python爬虫学习-简单爬取网页数据

疫情宅家无事，就随便写一些随笔吧QwQ…这是一篇介绍如何用Python实现简单爬取网页数据并导入MySQL中的数据库的文章。主要用到BeautifulSouprequests和pymysql。以网页https://jbk.39.net/mxyy/jbzs/为例，假设我们要爬取的部分数据如下图所示：一、准备工作1.导入BeautifulSoup和requests库：frombs4importBeau
nan先生·2023-08-23 22:41

爬虫学习笔记

1.爬虫的过程：（1）通过一个程序，根据url进行爬取网页，获取有用信息（2）使用程序模拟浏览器，取向服务器发送请求，获取响应信息2.爬虫核心：爬取网页，包括网页中内容解析数据，对网页中得到的数据进行分析难点：爬虫与反爬虫的博弈3.爬虫的用途：数据分析、人工数据集社交软件冷启动舆情监控竞争对手监控4.urllib库（Python自带，不需安装）5.url的组成http80https443mysql
Thanks.·2023-08-21 09:21

写给爬虫学习者的助攻！最全Python爬虫知识点梳理！

学任何一门技术，都应该带着目标去学习，目标就像一座灯塔，指引你前进，很多人学着学着就学放弃了，很大部分原因是没有明确目标，所以，在你准备学爬虫前，先问问自己为什么要学习爬虫。有些人是为了一份工作，有些人是为了好玩，也有些人是为了实现某个黑科技功能。不过可以肯定的是，学会了爬虫能给你的工作提供很多便利。作为零基础小白，大体上可分为三个阶段去实现，第一阶段是入门，掌握必备基础知识，比如Python基础
是程序员吖·2023-08-19 13:19

hadoop 3.x大数据集群搭建系列9-配置pyspark

二.升级python升级python--下载pythonwgethttps://npm.taobao.o
只是甲·2023-08-19 06:52

【爬虫学习】1、利用get方法对豆瓣电影数据进行爬取

♥️作者：白日参商‍♂️个人主页：白日参商主页♥️坚持分析平时学习到的项目以及学习到的软件开发知识，和大家一起努力呀！！！加油！加油！加油！加油欢迎评论点赞收藏加关注+！学习目标：能够利用python对一些科研中需要用到的数据进行爬取一、步骤总览1、导入python库2、获取豆瓣电影的第一页的数据并保存起来3、请求对象的定制4、模拟浏览器向服务器发送请求5、获取响应的数据6、把数据下载到本地二、代
白日参商·2023-08-16 19:27

百日筑基篇——python爬虫学习（一）

百日筑基篇——python爬虫学习（一）文章目录前言一、python爬虫介绍二、URL管理器三、所需基础模块的介绍1.requests2.BeautifulSoup1.HTML介绍2.网页解析器四、实操
星石传说·2023-08-16 13:44

实验篇——亚细胞定位

亚细胞定位的在线网站1.UniProt2.WoLFPSORT3.BUSCA4.TargetP-2.0二、代码实现1.基于UniProt（不会）2.基于WoLFPSORT后续（已完善，有关代码放置于[python爬虫学习
星石传说·2023-08-16 13:13

python--学习信息管理系统--删除学生信息

#cyypythonstudy#开发时间：2022/6/1014:18importosfilename='student.txt'defmain():#一直调用主菜单让用户选择whileTrue:menu()choice=int(input('请选择:'))ifchoicein[0,1,2,3,4,5,6,7]:ifchoice==0:#退出系统answer=input('您确定要退出系统吗y/n
¡Venceremo·2023-08-15 20:18

没有学不会的python--认识简单的数据类型

没有学不会的python先提一下肛相信很多同学都听过数据类型这个词吧？无论是零基础还是有其他编程语言的同学，对这个词都不会陌生。基本上来说，无论什么教程，都是会把这个数据类型提前拿出来讲透，因为这个万一不吃透，后面的学习无法开展下去。先看下概念描述：数据类型在数据结构中的定义是一组性质相同的值的集合以及定义在这个值集合上的一组操作的总称。可能很多同学就一脸懵逼了，这段话的每个词我都了解，我也知道它
小艺的代码·2023-08-15 00:13

爬虫学习第一天

1.爬虫的概念生活的角度：蜘蛛爬网（spideronthenet）互联网：程序在网上收集数据，写一个程序根据url从网页中获取指定的数据。什么语言可以写爬虫：按理讲啥编程语言都可以写爬虫，但是目前python写爬虫比较方便。1.php:世界上最好的语言，可以做爬虫，但不支持多线程。2.java:可以实现的很好，对python竞争大。代码累赘，开发成本高。3.C\C++:和java一样，代码不简洁4
熊文鑫·2023-08-11 18:40

爬虫学习（03）: 数据解析_re篇

一、re模块简介1.1re正则1.2re模块1.2.1findall()函数（返回列表）1.2.2search()函数1.2.3match()函数1.2.4finditer()函数1.2.5compile()函数1.2.6正则内容单独提取1.2.7字符串替换二、re实操2.1贪婪非贪婪的区分2.2元字符的练习2.3re修正符练习2.4match_search_findall练习三、关于re总结一、
爬虫选手_不懂就问·2023-08-11 12:25

爬虫学习记录（持续更新）

一、问题记录1.使用webdriver报错AttributeError:'str'objecthasnoattribute'capabilities'解决：目前使用的selenium版本是4.11.2，可以不必设置driver.exe的路径，selenium可以自己处理浏览器和驱动程序，因此，使用SeleniumWebdriver创建对象fromseleniumimportwebdriverwd=
芝麻芋圆·2023-08-10 16:43

爬虫学习笔记

urllib的介绍和基本使用基本使用1.urllib是什么urllib是爬虫常用的一个库，通过他我们能爬取浏览器上的数据，而爬虫则是我们模仿浏览器去爬取数据的一种称号，即将自己假扮成浏览器去拿取数据=========================================================================2.urllib的基本使用#使用urllib获取百度首页
冲锋的禾·2023-08-09 09:18

python--线程rlock

源码:tests/rlock.py#-.-coding:utf-8-.-importtimeimportthreadingimportunittestfrom.utilsimportget_lock_countclassTestRLock(unittest.TestCase):deftest_rlock_can_acquire_multi_times(self):lock=threading.RL
极光火狐狸·2023-08-08 06:16

爬虫学习_BeautifulSoup安装使用

BeautifulSoup是python爬虫中常用的库，它通过定位HTML标签来格式化和组织复杂的网络信息，用简单易用的Python对象为我们展现XML结构信息。这篇文章是我在学习图书《Python网络数据采集》的笔记。《Python网络数据采集》1、安装BeautifulSoup现在python3都用的是BeautifulSoup4，由于我使用的是anaconda，所以这些包就不用单独安装了。单
leogoforit·2023-08-07 22:23

python--接口自动化测试

一、自动化测试众所周知，自动化测试已经成为软件项目中不可或缺的测试方法。基于用户交互界面（GUI）的自动化测试方法具有模拟用户行为和过程可视化的特点，因此受到了广大入门自动化人士的喜爱。诸如：QTP、Selenium等都具有强大的功能支撑和丰富的知识库，而逐渐成为自动化测试人士必备工具之一。然而，伴随着敏捷开发和持续交付在软件开发项目中的普及和应用，测试工作的重心不得不进一步前移。而由于用户界面的
luzeiarn·2023-08-07 18:32

python 爬虫学习 第二弹

连续好几天不更新了,以后坚持每周更新两篇,要养成一个自律的好习惯,才有可能摆脱一个菜鸟本章实现的是一个简单的爬虫,爬取贴吧图片首先还是简单介绍一下本章使用的三个库1.urllib上一弹简单介绍过是用来进行url请求的库2.re库是用来从html库中解析获取图片的3.os库是系统库,获取系统的某些信息主要分为一下几个步骤1.根据url获取网页html内容2.从html中解析出所有的jpg或者png图
堕落白天使·2023-08-07 10:01

python网络爬虫学习笔记(一) 爬取简单静态网页

目录一、使用urllib3实现HTTP请求1.生成请求2.处理请求头3.Timeout设置4.请求重试设置5.生成完整HTTP请求二、使用requests库实现HTTP请求解决字符编码问题三、解析网页1.元素面板2.源代码面板3.网络面板四、使用正则表达式解析网页1.Python正则表达式：寻找字符串中的姓名和电话号码完整代码五、使用Xpath解析网页1.基本语法2.谓语3.功能函数4.谷歌开发者
余cos·2023-08-06 17:44

python--爬虫 爬取html和txt文件

一、python爬取html文件使用python爬取某网站首页并下载html文件下面介绍两种方式，一种是urllib，另一种是requests1、使用urllibimporturllib.requesturl='http://www.baidu.com/'#向指定的url发送请求，并返回服务器响应的类文件对象request=urllib.request.Request(url)#类文件对象支持文件
小疯仔·2023-08-05 17:21

python--破解滑动验证码

一、破解极验验证码思路现在极验验证码广泛应用于直播视频、金融服务、电子商务、游戏娱乐、政府企业等各大类型网站对于这类验证，如果我们直接模拟表单请求，繁琐的认证参数与认证流程会让你蛋碎一地，我们可以用selenium驱动浏览器来解决这个问题，大致分为以下几个步骤：1、输入用户名，密码2、点击按钮验证，弹出没有缺口的图3、获得没有缺口的图片4、点击滑动按钮，弹出有缺口的图5、获得有缺口的图片6、对比两
贝加尔湖畔_tq·2023-08-04 18:00

爬虫学习-urllib.request信息发送

爬虫信息发送是一个比较复杂的过程，接下来就简单学习一下信息发送的几个简单实例，接下来我们主要使用的是urlopenAPI：urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)url请求网址，timeout响应超时时间1.基础的信息发送与获取#导入包
亮话科研·2023-08-02 14:03

爬虫学习-requests对象学习

之前的学习都是把网上的例子搬过来，发现有的地方用urllib有的地方使用requests，一直都是迷迷糊糊的，开始还以为这两个是同一个的东西，后来才发现不是一样的，requests后面版本新加的包，整体来说requests对象的使用方法比urllib的使用方法要简单，下面就看一个具体的例子吧。首先我们对urllis.request发送时翻译的例子进行一下改造会发现比那个的代码要精练了好多，核心内容
亮话科研·2023-08-02 14:03

爬虫学习-selenium和ChromeDriver的安装

selenium是一个自动化测试工具，如果要使用测试的话还需要ChromeDriver的配合才能在Chrome浏览器下进行测试。selenium的安装比较简单，只要安装好pip工具后直接使用命令安装就可以了pip3installselenium接下来就是安装Chrome浏览器，安装Chrome浏览器的时候一定要注意到官网下载，我之前使用的是一个名叫Chrome极速浏览器，无论图标和操作习惯都和Ch
亮话科研·2023-08-02 14:02

爬虫学习-selenium配合ChromeDriver报错：selenium.common.exceptions.WebDriverException: Message: 'chromedriver'

selenium配合ChromeDriver报错：selenium.common.exceptions.WebDriverException:Message:'chromedriver'executableneedstobeinPATH；代码如下：fromseleniumimportwebdriverfromselenium.webdriver.chrome.optionsimportOption
亮话科研·2023-08-02 14:02

爬虫学习-简单入门

今天开始学习爬虫相关知识，学习的主要目的并不是去做信息的收集，主要还是通过这个大众化的知识板块来学习python相关知识。第一个例子是进行python实现程序角度的自动翻译实例，相关代码如下：#首先导入需要的包importurllib.requestasreqimporturllib.parseaspaimportjsonasjs#通过用户输入的内容进行翻译content=input('请输入要翻
亮话科研·2023-08-02 14:32

爬虫学习-使用代理

通过第一个例子已经知道了爬虫相关的基本知识，接下来就是要越过各种障碍了，首先要学习的就是使用代理技术，随机的代理技术可以降低爬虫程序被服务器发现的概率，增加成功率。相关实现代码如下：#首先导入需要的两个包，第一个是爬虫相关，第二个random是生成随机数importurllib.requestasreqimportrandom#需要访问的ip地址url='http://www.baidu.com/
亮话科研·2023-08-02 14:32

爬虫学习-获取页面使用的字符集

前面做爬虫例子的时候打印有时会出现意外的乱码，后来通过查找发现是解码字符集引起的，所以需要实现知道页面使用的字符集才能更好的解码#encoding=utf-8#导入需要的包字符集需要的包是chardetimportrequestsimportchardetif__name__=='__main__':url='http://www.baidu.com'#通过get方式打开页面response=re
亮话科研·2023-08-02 14:32

python--函数输出最大最小值

问题描述：题目，输入几个数然后比较大小1.要求最少输入两个数2.输入时可以使用逗号空格，隔开3.可以重复多次输入4.包装为函数解决方案：方法一：deffoo():max_=Nonemin_=NonewhileTrue:i=input(">>>")list_=i.replace(",","").split()#注意默认以尽可能多的空白字符切割iflist_[0]=="quit":#结束标志break
时越zz·2023-08-02 10:12

爬虫入门第5课：实现代理池工具模块

爬虫学习知识点及案例篇（汇总）：爬虫入门第1课：代理池概述及开发环境爬虫入门第2课：代理池的设计爬虫入门第3课：实现代理池思路爬虫入门第4课：定义代理IP的数据模型类本阶段带大家从代理池的设计开始，学习
黑马程序员官方·2023-08-01 06:15

在python中随心所欲的使用正则表达式

初级爬虫学习资源爬虫学习——警察叔叔不抓我一文速通的正则表达式python中使用正则表达式——为所欲为爬取“百思不得姐“网站——小试牛刀re库python中的re库是正则表达式在python的实现下面介绍几个常用的方法
柳衣白卿·2023-08-01 05:17

Python--利用openpyxl操作xlsx文件

最近，碰到一个简单的问题，要对excel表进行一些处理。如下图，F和G列是合并列。当单元格内字段值中出现XX分行时，就把合并的单元格拆分开，把单元格内字段也拆分成“XX公司”和"xx分行"，并分别赋给拆分后的单元格。处理前.PNG处理后.PNG#利用openpyxl库fromopenpyxlimportload_workbookfromopenpyxl.utilsimportget_column_
哼Bug·2023-07-31 01:17

java使用htmlunit + jsoup 爬网站图片案例(爬虫学习)

申明该文章用于自己学习爬虫使用案例分析目的:从百度图片中搜索"风景"并下载图片到本地思路:使用htmlunit进行模拟用户操作,并使用jsoup对数据进行解析,获取到需要的数据后,再下载到本地保存htmlunit官网jsoup官网操作步骤使用谷歌浏览器打开百度图片网站https://image.baidu.com输入"风景",点击"百度一下"按钮页面进行跳转对当前页面页面中的图片地址进行获取,并保
代号：猿a·2023-07-30 19:23

py文件服务器实现断点续传,python--简单的文件断点续传实例

一、程序说明1、文件上传目标路径：home/file2、目标文件：putfile.png3、服务端代码：put_server.py4、客户端代码：put_client.py二、各部分代码1、服务端代码：put_server.py1#!/usr/bin/envpython2#-*-coding:utf-8-*-3"""4实现文件断点续传的服务器端5"""67importsocket8importos
weixin_40009207·2023-07-29 13:16
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他