python--爬虫学习

python--排错--AttributeError: 'str' object has no attribute 'decode'，关于python3的字符串

AttributeError:'str'objecthasnoattribute'decode'一般是因为str的类型本身不是bytes，所以不能解码两个概念:普通str：可理解的语义字节流str（bytes）（0101010101，可视化显示）两个语法Encode:把普通字符串转为机器可识别的bytesDecode:把bytes转为字符串两个差异Python3的str默认不是bytes，所以不能
我不是庸医·2024-09-14 12:16

python爬虫心得_python爬虫学习心得

爬虫新手一枚，因为工作原因需要学习相关的东西。发表下这段时间学习的心得，有说得不对的地方欢迎指指点点。一.什么是爬虫在学习爬虫之前只对爬虫有个概念性的认识。通过向服务器发送请求获取服务器传回信息，再根据其提取所需的信息。原理虽然简单，但是涉及的细节非常多，从一个坑爬出来又掉进另一个坑。二.post和getpost和get是两种向服务器发送请求的方式，有些http基础的同学应该都清楚他们的用处，在写
weixin_39941721·2024-08-31 14:29

Python大数据之Python爬虫学习总结——day16 数据可视化

数据可视化Map_地图基础地图知识点:基础示例:实战练习:知识点:自定义模块:制作中国地图data1.txt文件内容python代码示例制作区域地图data2.txt文件内容python代码示例Line_折线图基础折线图实战练习:Bar_柱状图基础柱状图反转以及主题设置Json数据python数据转为json数据知识点:示例:json数据转为python数据知识点:json文件:示例:Map_地图
笨小孩124·2024-08-28 12:46

python爬虫要不要学正则_Python爬虫学习（四）正则表达式

经过前面的学习之后，大家现在应该可以顺利地得到一个网页源码字符串，对于Python中的字符串，Python提供了很多操作，大家可以其去尝试提取网页源码字符串中想要的信息。在这里，给大家推荐的是正则表达式!文章最后还有爬取糗事百科的实例哦！什么是正则表达式说白了，正则表达式就是描述我们需要提取的那部分信息的规则的工具。举个栗子，比如，我们想要提取'Stayhungry,123stayfoolish!
weixin_39583751·2024-08-25 09:47

Python--正则表达式

正则表达式（RegularExpressions,简称regex或RE）是一种强大的工具，用于匹配和操作字符串。Python中的re模块提供了一整套操作正则表达式的功能，使得我们可以轻松地对字符串进行搜索、匹配、替换等操作。下面详细阐述正则表达式的使用及其常用操作。1.正则表达式基础正则表达式由普通字符和特殊字符（也称为元字符）组成。元字符用于指定字符串的模式。以下是一些常用的元字符：.:匹配任意
Ambition_LAO·2024-08-25 05:21

爬虫学习4：爬取技能信息

爬虫：爬取技能信息（代码和代码流程）代码importtimefromseleniumimportwebdriverfromselenium.webdriver.common.byimportByif__name__=='__main__':fp=open("./honorKing.txt","w",encoding='utf8')#1、urlurl=""#页面url#2、发送请求driver=we
夜清寒风·2024-08-24 01:24

Python--数据类型及其操作

目录一、基本数据类型1、整数类型其他进制数pow(x,y)函数，计算x的y次方2、浮点类型科学计数法3、复数类型二、操作1、三种类型的关系2、内置的数值运算操作符3、数字类型之间相互运算的结果基本规则4、与数值运算相关的6个内置函数5、数字类型的转化6、数字类型的判断7、math库7.1引用7.2math包含的常数7.3math包含的函数7.4math包含的幂对数函数7.5六个“三角双曲函数及4个
江湖险恶不行就撤·2024-08-22 21:01

python爬虫学习

Python爬虫(1):基本原理Python爬虫(2):Requests的基本用法Python爬虫(3):Requests的高级用法Python爬虫(4):BeautifulSoup的常用方法Python爬虫(5):豆瓣读书练手爬虫Python爬虫(6):煎蛋网全站妹子图爬虫Python爬虫(7):多进程抓取拉钩网十万数据Python爬虫(8):分析Ajax请求爬取果壳网Python爬虫(9):C
小叶丶·2024-08-22 07:35

python--字典集合控制流

python--字典集合控制流字典操作补充字典的增加字典的删除1、deldict_1['key1']2、dict.pop('key1')3、dict.popitems()字典的修改dict_1['key1
只要名字够长就有猪跟着念·2024-03-16 09:13

【python--读取csv文件统计店铺有关信息】

作者：“码上有前”文章简介：Python欢迎小伙伴们点赞、收藏⭐、留言python练习题读取csv文件统计店铺有关信息读取csv文件统计店铺有关信息importcsvimportosdefget_top_store(folder_path):data_dict={}#存储数据的字典#遍历文件夹中的每个CSV文件forfilenameinos.listdir(folder_path):iffilen
码上有前·2024-03-10 08:04

Python--字符串常用操作

字符串常用操作一.拼接字符串二.计算字符串的长度三.截取字符串四.分隔字符串五.检索字符串1.count()方法2.find()方法3.index()方法4.startswith()方法5.endswith()方法六.字母的大小写转换1.lower()方法2.upper()方法一.拼接字符串•使用“+”运算符可完成对多个字符串的拼接，“+”运算符可以连接多个字符串并产生一个字符串对象。wx1="F
晚•夜·2024-02-20 15:19

爬虫学习笔记-scrapy链接提取器爬取读书网链接写入MySQL数据库

1.终端运行scrapystartprojectscrapy_read,创建项目2.登录读书网,选择国学(随便点一个)3.复制链接(后面修改为包括其他页)4.创建爬虫文件,并打开5.滑倒下方翻页处,右键2,点击检查,查看到a标签网址,复制6.修改爬虫文件规则allow(正则表达式),'\d'表示数字,'+'表示多个,'\.'使'.'生效7.在parse_item中编写打印,scrapycrawlr
DevCodeMemo·2024-02-20 03:05

爬虫学习笔记-scrapy爬取电影天堂(双层网址嵌套)

1.终端运行scrapystartprojectmovie,创建项目2.接口查找3.终端cd到spiders,cdscrapy_carhome/scrapy_movie/spiders,运行scrapygenspidermvhttps://dy2018.com/4.打开mv,编写代码,爬取电影名和网址5.用爬取的网址请求,使用meta属性传递name,callback调用自定义的parse_sec
DevCodeMemo·2024-02-20 03:04

爬虫学习笔记-scrapy爬取当当网

1.终端运行scrapystartprojectscrapy_dangdang,创建项目2.接口查找3.cd100个案例/Scrapy/scrapy_dangdang/scrapy_dangdang/spiders到文件夹下,创建爬虫程序4.items定义ScrapyDangdangItem的数据结构(要爬取的数据)src,name,price5.爬取src,name,price数据导入items
DevCodeMemo·2024-02-20 03:03

OpenCV for python--基础知识篇（一）

之前将博客都写在CSDN上，为了方便更新博客内容（那边写完就没修改过/(ㄒoㄒ)/~~），准备重新整理，将之前的练习内容迁移到上，以便回顾知识和完善博客内容。现在工作上也有其他事情，写博客的时间相对要少，补个时间写点东西，原项目地址。获取图像基本属性shape,size,typeimportcv2img=cv2.imread(test.jpg')row,col,channel=img.shape#
CodeFUN·2024-02-19 18:01

Python爬虫学习

1.1搭建爬虫程序开发环境爬取未来七天天气预报frombs4importBeautifulSoupfrombs4importUnicodeDammitimporturllib.requesturl="http://www.weather.com.cn/weather/101120901.shtml"try:headers={"User-Agent":"Mozilla/5.0(WindowsNT10
曹博Blog·2024-02-19 16:09

python爬虫学习day2—百度翻译

##第零步安装requests库以及了解AJAX请求##第一步打开百度翻译网址，随便输入一个英文单词，我们可以发现网页进行了局部刷新，而非整体性的，因此我们可以猜测，这是一个AJAX请求。##第二步F12打开控制台，点击网络(network)，因为我们已经猜测这是一个AJAX请求，因此我们选择XHR(实现网页得局部刷新)或者叫Fetch/XHR。然后输入一个英文单词，例如write。我们挨个点击，
2401_82964032·2024-02-13 21:32

python爬虫学习day3—KFC肯德基餐厅信息查询

##第零步安装requests库以及了解AJAX请求##第一步打开肯德基餐厅信息查询(kfc.com.cn)随便输入一个地址后发现页面没有整体刷新，并且点击下一页页面也仍然是局部刷新，因此判断是AJAX请求。##第二步F12打开控制台，点击网络(network)，选择XHR(实现网页得局部刷新)或者叫Fetch/XHR。选择一个地址后，我们可以得到点击后我们可以得到：其url为https://ww
2401_82964032·2024-02-13 21:32

python爬虫学习day1—Books to Scrape

##第零步安装requests库与BeautifulSoup库，以及学习一点点html知识##第一步导入requests库与BeautifulSoup库importrequestsfrombs4importBeautifulSoup##第三步查看网站是否有反爬机制如果有可以选择伪装浏览器headers={"User-Agent":"自己浏览器的标识"}按F12找到网络（network）然后刷新网页
2401_82964032·2024-02-13 21:02

python爬虫beautifulsoup实例-Python爬虫学习（二）使用Beautiful Soup库

（一）使用BeautifulSoup库（默认将HTML转换为utf-8编码）1，安装BeautifulSoup库：pipinstallbeautifulsoup42，简单使用：importrequests;from_socketimporttimeoutfrombs4importBeautifulSoup#使用BeautifulSoup库需要导包#fromaifcimportdatadefgetH
weixin_37988176·2024-02-11 18:39

速看，关于Python的17个学习网站，从基础到机器学习【建议收藏】

目录一、基础学习网站Python官方教程Python官方安装包地址PyCharm下载地址anaconda3清华开源下载地址二、爬虫学习网站requests官方学习网站BeautifulSoup文档网站selenium
帅帅的Python·2024-02-10 12:45

python--单例模式

阅读目录前言1.单例模式应用场景2.实现的5种方法1.使用模块2.使用装饰器3.使用类4.基于__new__方法实现5.使用元类3.类的绑定方法单例模式例子4.参考文章前言单例模式是最常使用的一种设计模式，该模式的目的是确保在一个系统中，一个类只有一个实例1.单例模式应用场景数据库链接、Socket（套接字）创建链接2.实现的5种方法1.使用模块其实也就是平时所说的调用第三方库，比如beautif
4v1d·2024-02-07 04:59

PYthon进阶--网页采集器(基于百度搜索的Python3爬虫程序)

简介：基于百度搜索引擎的PYthon3爬虫程序的网页采集器，小白和爬虫学习者都可以学会。运行爬虫程序，输入关键词，即可将所搜出来的网页内容保存在本地。
在猴站学算法·2024-02-06 07:10

python爬虫学习步骤和推荐资料

学习Python爬虫是一项非常实用的技能，可以帮助你获取网络上的数据，进行信息抓取和分析。以下是一系列学习步骤和对应的参考资料，帮助你入门和深入学习Python爬虫。###学习步骤：####Step1:基础Python编程在学习爬虫之前，首先要确保你对基础的Python语法有一定的了解。参考资料：-[Python官方文档](https://docs.python.org/3/)-[w3school
suoge223·2024-02-06 00:27

第十一单元 python--元组和字典

一、元组Python的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。1.1元组的格式格式变量名=(,,,,)案例1.2访问元组通过索引取数据案例:索引值存在aTuple=(23,35,56,34,11,21)print(aTuple[2])#56案例:索引值不存在aTuple=(23,35,56,34,11,21)print(aTuple[20])#IndexEr
胖虎大魔王·2024-02-05 15:15

爬虫学习笔记-scrapy爬取汽车之家

1.终端运行scrapystartprojectscrapy_carhome,创建项目2.接口查找3.终端cd到spiders,cdscrapy_carhome/scrapy_carhome/spiders,运行scrapygenspideraudihttps://car.autohome.com.cn/price/brand-33.html4.打开audi,编写代码,xpath获取页面车型价格列
DevCodeMemo·2024-02-04 12:09

python-- 函数

在python中的函数："""1、python中的函数就类似于java中的方法；2、函数的语法的规则：def函数的名称(参数1，参数2)：执行的逻辑return结果值在定义函数的时候，参数的类型是可以不用指定的。3、在python中定义的函数的执行的顺序是从上往下开始执行的。4、在python中定义的函数中，参数是可以有默认值的"""1、定义函数的基本的格式：def函数名称(参数)：函数体#例如：
新手小农·2024-02-04 09:40

python--整体的模块

1、python程序的架构：是将一个程序分割为源代码文件的集合以及将这些部分连接在一起的方法2、在python中，一个py文件就是一个模块，多个模块组成一个包。3、python的模块的执行环境：一个模块包含了变量、函数、类以及其他的模块，然而对于函数来说，函数也有属于自己的本地变量4、在一个模块中可以导入其他模块中的包。在python中的导包就相当于将代码复制一遍运行。导模块的方式，主要有两种方式
新手小农·2024-02-04 09:40

python--文件读取与写入

"""1、文件的读取(1)读取文件：open1、file：指定文件的路径路径可以分成相对路径和绝对路径2、mode：指定文件的读取的的模式：1、'r'openforreading(default)表示的是读模式2、'w'openforwriting,truncatingthefilefirst表示的是写模式3、'x'createanewfileandopenitforwriting表示的创建模式4
新手小农·2024-02-04 09:39

python--第三方包的使用

1、json包在python中使用json解析数据的时候，需要导入包的类型，使用json包解析json数据。importjsonstudent_json='{"age":22,"clazz":"文科六班","gender":"女","id":"1500100001","name":"施笑槐"}'#将一个json文件装换成python中的对象，返回的是python中的字典：student_obj=j
新手小农·2024-02-04 09:07

python max()字符串的比较_（MAX第三篇）Python--字符串操作（一）

Python字符串及操作(一)此片文章总结涉及到字符串的引入、使用、索引选取、连接重复以及成员判断字符串(string)字符串是以单引号''或者双引号““括起来的任意文本。由于我是新手，只是进行所学内容的总结，所以字符串编码这一块还不是特别的熟练，可以参考廖雪峰。字符串用单引号''：>>>name='Max'>>>name'Max'>>>smart='你聪明么'#可以输入中文，但是要记住不能在中文
weixin_39884832·2024-02-03 22:23

python字符串类型定义_python--字符串类型

***************字符串类型***************1.字符串的定义:第一种方式:str1='ourcompanyiswestos'第二种方式:str2="ourcompanyiswestos"第三种方式:str3="""ourcompanyiswestos"""2.转义符号一个反斜线加一个单一字符可以表示一个特殊字符,通常是不可打印的字符\n:代表换行符\":代表双引号本身\t
weixin_39613824·2024-02-03 22:23

Python爬虫学习之scrapy库

一、scrapy库安装pipinstallscrapy-ihttps://pypi.douban.com/simple二、scrapy项目的创建1、创建爬虫项目打开cmd输入scrapystartproject项目的名字注意:项目的名字不允许使用数字开头也不能包含中文2、创建爬虫文件要在spiders文件夹中去创建爬虫文件cd项目的名字\项目的名字\spiderscdscrapy_baidu_09
蜀道之南718·2024-02-03 11:46

python中用scrapy框架创建项目

最近在学scrapy框架进行简单爬虫学习，在此简单回顾一下创建项目流程思路。首先你的安装scrapy运行环境，在此省略，不懂可以百度。
小沙弥哥·2024-02-03 10:57

爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施

1.安装scrapypycharm终端运行pipinstallscrapy-ihttps://pypi.douban.com/simple2.终端运行scrapystartprojectscrapy_baidu,创建项目问题1:lxml版本低导致无法找到解决措施:更新或者重新安装lxml3.项目创建成功4.终端cd到项目的spiders文件夹下,cdscrapy_baidu\scrapy_baid
DevCodeMemo·2024-02-03 03:00

Python大牛写的爬虫学习路线，分享给大家！

今天给大家带来我的python爬虫学习路线，供大家参考！
IT青年·2024-02-02 18:28

爬虫学习：搜狗简易网页采集器

#搜狗简易网页采集器importrequests#请求参数动态化keyword=input('请输入关键字:')#如果请求失败，那就是模仿的力度不够，第一次我未加请求头中的headers,导致搜索404headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrom
unravel_tom·2024-02-02 11:40

爬虫学习：下厨房的菜谱搜索

#下厨房的菜谱搜索(多个请求参数)，注：只支持搜索功能，不具备多页爬取功能importrequests#请求头headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/121.0.0.0Safari/537.36Edg/121.0.0.0'}title=i
unravel_tom·2024-02-02 11:37

2019-05-07 Python--递归函数

在函数内部，可以调用其他函数。如果一个函数在内部调用自身本身，这个函数就是递归函数。举个例子，我们来计算阶乘n!=1x2x3x...xn，用函数fact(n)表示，可以看出：fact(n)=n!=1x2x3x...x(n-1)xn=(n-1)!xn=fact(n-1)xn所以，fact(n)可以表示为nxfact(n-1)，只有n=1时需要特殊处理。于是，fact(n)用递归的方式写出来就是：de
luckybabying·2024-02-01 16:58

python爬虫学习笔记之数据提取

参考博客：python爬虫学习笔记_fdk少东家的博客-CSDN博客1、XPath语法和lxml库1.01、什么是XPath?
py爱好者~·2024-02-01 07:03

python爬虫学习笔记之数据存储

参考博客：python爬虫学习笔记_fdk少东家的博客-CSDN博客1、json文件处理：1.01、什么是json：JSON(JavaScriptObjectNotation,JS对象标记)是一种轻量级的数据交换格式
py爱好者~·2024-02-01 07:03

python爬虫学习笔记之网络请求

参考博客：python爬虫学习笔记_fdk少东家的博客-CSDN博客'requests'库安装和文档地址：利用pip进行安装：pipinstallrequests中文文档：Requests:让HTTP服务人类
py爱好者~·2024-02-01 07:02

Python爬虫学习之scrapy库

一、scrapy库安装pipinstallscrapy-ihttps://pypi.douban.com/simple二、scrapy项目的创建1、创建爬虫项目打开cmd输入scrapystartproject项目的名字注意:项目的名字不允许使用数字开头也不能包含中文2、创建爬虫文件要在spiders文件夹中去创建爬虫文件cd项目的名字\项目的名字\spiderscdscrapy_baidu_09
蜀道之南718·2024-02-01 03:07

Python爬虫学习之requests库

目录一、requests的基本使用二、get请求三、post请求四、代理的使用五、cookie登录以及验证码图片识别一、requests的基本使用importrequestsurl='http://www.baidu.com'response=requests.get(url=url)#一个类型和六个属性#Response类型#print(type(response))#设置响应的编码格式resp
蜀道之南718·2024-02-01 03:36

Python爬虫学习之解析_jsonpath

一、jsonpath的基本使用importjsonimportjsonpathobj=json.load(open('json文件','r',encoding='utf-8'))ret=jsonpath.jsonpath(obj,'jsonpath语法')二、jsonpath语法e.g.importjsonimportjsonpathobj=json.load(open('jsonpath.jso
蜀道之南718·2024-02-01 03:36

python--元组和字典

一、元组Python的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。1.1元组的格式格式变量名=(,,,,)案例aTuple=(23,35,56,34,11,21)1.2访问元组通过索引取数据案例:索引值存在aTuple=(23,35,56,34,11,21)print(aTuple[2])#56案例:索引值不存在aTuple=(23,35,56,34,11,21
y_6fbb·2024-01-31 18:32

Python爬虫学习之requests库

目录一、requests的基本使用二、get请求三、post请求四、代理的使用五、cookie登录以及验证码图片识别一、requests的基本使用importrequestsurl='http://www.baidu.com'response=requests.get(url=url)#一个类型和六个属性#Response类型#print(type(response))#设置响应的编码格式resp
蜀道之南718·2024-01-31 10:18

Python爬虫学习之urllib库

目录一、urllib库的基本使用二、一个类型和六个方法三、用urllib下载1、下载网页2、下载图片3、下载视频四、urllib请求对象的定制1、url的组成https://www.baidu.com/s?wd=参数2、UA反爬五、编解码1、get请求方式之urllib.parse.quote()2、get请求方式之urllib.parse.urlencode()3、post请求方式六、ajax的
蜀道之南718·2024-01-31 10:48

Python爬虫学习之解析_xpath

一、xpath的基本使用（1）导入lxml.etreefromlxmlimportetree（2）etree.parse()解析本地文件tree=etree.parse('xpath的基本使用.html')print(tree)（3）etree.HTML()服务器响应文件html_tree=etree.HTML(content)（4）html_tree.xpath(xpath路径)二、xpath语
蜀道之南718·2024-01-31 10:48

python爬虫学习之解析_BeautifulSoup

目录一、bs4的基本使用（1）导入（2）创建对象二、节点定位1、根据标签名查找节点2、基本函数使用（1）find（2）find_all（3）select三、节点信息1、获取节点内容2、获取节点属性附：bs4的基本使用.html四、bs4的应用注：Python3.10+，使用BeautifulSoup时出现错误“AttributeError'collections'hasnoattribute'Ca
蜀道之南718·2024-01-31 10:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他