爬虫笔记

爬虫笔记（三）：实战qq登录

咳咳，再这样下去会进橘子叭hhhhhh以及，这个我觉得大概率是成功的，因为测试了太多次，登录并且验证之后，qq提醒我要我修改密码才可以登录捏QAQ1.selenium有关selenium具体是啥，这里就不再赘述了，其他的博客分享的都很清楚，我就大概说一下：selenium是一个模拟用户操作的工具，通过selenium就可以点击网页中某一按钮，或者拖动某一图形（是捏，首先想到的就是滑块验证hhhhh
学不动了躺叭·2024-02-03 10:10

python爬虫笔记：爬取网页数据存储到excel

python抓取网页有效数据存储到excel使用requests从网页上获取得到信息使用BeautifulSoup解析提取并存储有效信息使用xlwt模块创建Excel最后得到Excel数据使用requests从网页上获取得到信息首先导入requests库和beautifulsoup库importrequestsfrombs4importBeautifulSoup然后调用requests.get()
御风之·2024-02-02 16:00

python3的爬虫笔记13——Scrapy初窥

1、Scrapy安装在windows平台anaconda环境下，在命令窗口输入condainstallscrapy，输入确认的y后，静静等待安装完成即可。安装完成后，在窗口输入scrapyversion，能显示版本号说明能够正常使用。2、Scrapy指令输入scrapy-h可以看到指令，关于命令行，后面会再总结。Scrapy1.3.3-project:quotetutorialUsage:scra
X_xxieRiemann·2024-01-29 06:46

爬虫笔记21：页面等待以及当按钮不能被点击时的处理、selenium操作多个窗口、12306扫码登录

一、页面等待为什么要等?（1）selenium比较慢网站打开了元素没有加载出来（2）现在的网页越来越多采用了Ajax技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个WebElement，那么就会抛出NullPointer的异常。如何解决?（1）time.sleep(10)：Python提供的，importtime，一
进阶的阿牛哥·2024-01-27 21:37

爬虫笔记（二）：实战58二手房

第一：给大家推荐一个爬虫的网课哈，码起来第二：今夜主题：通过xpath爬取58二手房的title信息，也就是标红的位置~第三：先分析一波title所在的位置打开按下f12打开抓包工具，即可看到网站的源码，逐步定位至房子信息的部分我们以第一个房子信息为例，找到它的title位置，最终发现它在这个位置~目前，我们就需要在网页的源码上获取到下的里的文本信息第四：想要获取某个标签下的文本信息或是属性信息，
学不动了躺叭·2024-01-25 10:04

爬虫笔记（一）：实战登录古诗文网站

需求：登录古诗文网站，账号＋密码＋图形验证码第一：自己注册一个账号＋密码哈第二：图形验证码，需要一个打码平台（充钱，超能力power！）或者tesseract开源包，这两个用于自动识别图形验证码哈~我用的是超级鹰，充了1块，有1000积分，一次10积分，初学者福音hhhhh在软件ID随便填一下软件名称和说明，获取软件key然后点击首页，首页的菜单栏处有个开发文档，来到这个页面，然后找到python
看到我请叫我去学java吖·2024-01-20 03:12

爬虫笔记40之反爬系列三：复杂验证码的处理（12306图片验证码、行为验证：selenium鼠标行为链 + 算法）

一、12306图片验证码解决方案:selenium（鼠标行为链）+打码平台思路:通过selenium来加载登录页面，获取验证码图片。我就可以把验证码图片交给超级鹰打码平台进行处理。让其给我返回这张验证码正确的坐标值。拿到正确的坐标值之后去点击图片实现步骤第一步使用selenium加载登录页面第二步对页面进行保存第三步截取12306图片验证码第四步交给超级鹰打码平台进行识别返回正确的坐标值第五步根据
进阶的阿牛哥·2024-01-17 10:08

python+selenium爬虫笔记

本文只是做例子，具体网站路径麻烦你们换下，还有xpath路径也换下一、安装所需要的组件（此处采用谷歌）1、安装驱动查看你的浏览器版本，去安装对应的版本下载驱动下载驱动路径之前版本的输入这个路径下载下来解压2、安装python包pipinstall-Uselenium#-U是指定最新的selenium二、简单基本使用fromselenium.webdriverimportChromefromsele
张航柯·2024-01-06 00:24

Python 爬虫笔记1 一（反爬虫伪装）

#!/usr/bin/envpython3#coding:utf-8importurllib.requestimportrandom#随机生成User-Agent的时候使用agentsList=["Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1;SV1;AcooBrowser;.NETCLR1.1.4322;.NETCLR2.0.50727)","Mozil
dinglangping·2023-12-22 20:12

python爬虫笔记

文章目录day11.HTTP协议与WEB开发2.UA反爬3.referer反爬4.cookie反爬5.爬虫的请求参数6.爬取图片day2验证码与JS逆向爬虫1.获取验证码2.识别验证码day11.HTTP协议与WEB开发爬虫的根本就是模拟人向浏览器发送请求协议-版本-状态响应码客户端和服务端，都需要遵循请求和响应协议2.UA反爬request请求头中，带上user-agent参数3.referer
大橘杂货铺·2023-12-20 17:03

爬虫笔记总结（开篇）

服务器反爬的原因爬虫占用PV较高，浪费资源（PV是指页面访问次数）资源被批量抓走，丧失竞争能力法律灰色地带服务器常反什么样的爬虫十分低级的应届毕业生十分低级的创业公司不小心写错没人去停止的失控小爬虫成型的商业竞争对手抽风的搜索引擎反爬领域常见概念爬虫：使用任何手段，批量获取网站信息的一种方式，关键在于批量反爬虫：使用任何技术，阻止别人批量获取自己网站信息的一种方式，关键也在于批量误伤：反爬过程中，
仲夏那片海·2023-12-20 05:01

爬虫笔记总结（验证码）

学习目的：了解验证码的相关知识掌握图片识别引擎的使用了解常见的打码平台掌握通过打码平台处理验证码的方法1.图片验证码1.1什么是图片验证码验证码（CAPTCHA）是“CompletelyAutomatedPublicTuringtesttotellComputersandHumansApart”（全自动区分计算机和人类的图灵测试）的缩写，是一种区分用户是计算机还是人的公共全自动程序。1.2验证码的
仲夏那片海·2023-12-20 05:31

网络爬虫笔记—滑动验证码识别

一、什么是滑动验证码点击之前点击之后像这种通过滑动图片，补全缺口的方式，就是滑动验证码。二、识别思路1）使用selenium库操作谷歌浏览器，打开目标网站；2）模拟操作浏览器，对网页截图，先获取全屏截图；3）根据滑动验证码的元素，获取滑动验证码不带缺口的图片和带缺口的图片；4）通过不带缺口验证码图片和带缺口验证码图片的对比，识别滑动验证码缺口的位置；5）模拟移动滑块，完成验证；三、具体实践3.1、
程序汪小陈·2023-12-19 05:27

【爬虫笔记】关于 \u200b \xa0 \u3000等特殊字符

在进行网页爬虫分析时，遇到了一些特殊字符，通过网络搜索找到了解决方法，所以利用这篇博文将遇到的问题以及解决方法记录下来，方便回顾，也希望这篇博文能够帮助到大家。\u200b\xa0\u3000等特殊字符这些特殊字符通常不在ASCII可见字符范围内，因此我们在浏览网页时看不到这些字符，但是在分析网页源码时会遇到。方法一，利用split方法处理这些字符最简单的方法是利用split方法去除。参考博文：h
逸笔1B·2023-12-06 21:01

Python爬虫笔记——多线程（threading）传参

参考文章：Python多线程3多线程的传参与返回值BBJG_001的博客——多线程threading库知识点补充学习网站：莫烦Python学习别人的经验：在主线程用一个变量或者直接输出就能获取或使用函数中return的值。但是在多线程中，可以这么理解，多线程之间的变量空间是互相隔绝的，所以return是不能把值返回到主进程的，只能在所在的线程使用，线程结束，值所在空间也就被释放了。所以，多线程之间
Fo*(Bi)·2023-11-30 10:21

网络爬虫（Python：Selenium、Scrapy框架；爬虫与反爬虫笔记）

网络爬虫（Python：Selenium、Scrapy框架；爬虫与反爬虫笔记）SeleniumWebDriver对象提供的相关方法定位元素ActionChains的基本使用selenium显示等待和隐式等待显示等待隐式等待
qq742234984·2023-11-27 07:20

【python爬虫】80页md笔记0基础到scrapy高手，第(5)篇：爬虫数据提取练习

全套python爬虫笔记地址：请移步这里共8大章，37子模块，总计5.6w字数据提取概要本阶段本文主要学习响应之后如何从响应中提取我们想要的数据，在本阶段本文中我们会讲解一些常用的方法和模块，基本上我们以后遇到的情况在掌握本阶段本文之后
程序员一诺·2023-11-20 22:11

python爬虫笔记_Python 爬虫学习笔记之多线程爬虫

likeoneliketwolikethreehateonehatetwohatethree百度一下好123
weixin_39854681·2023-11-17 09:07

Python爬虫，使用selenium爬取动态生成的网页数据 - 旧人笔记 - 旧人学习笔记 - 爬虫笔记 - 网络爬虫大白话

什么是AJAXAJAX（AsynchronouseJavaScriptAndXML）异步JavaScript和XML，在后台与服务器进行少量数据交换，Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面。因为传统的在传输数据格式方面，使用的是XML语法，因此叫做AJAX，其实现在数据交互
旧人小表弟·2023-11-07 15:43

python网络爬虫笔记二

一、搜索淘宝商品名称和价格信息--定向爬虫importrequestsimportrefrombs4importBeautifulSoupimportbs4#获取网页内容defgetHTMLText(url):try:r=requests.get(url,timeout=30)r.raise_for_status()r.encoding=r.apparent_encodingreturnr.tex
肖一二三四·2023-11-04 07:36

Python爬虫笔记——爬虫基础第一课

爬虫的四个步骤0.获取数据——爬虫程序会根据我们提供的网址，向服务器发起请求，然后返回数据。1.解析数据——爬虫程序会把服务器返回的数据解析成我们能读懂的格式。2.提取数据——爬虫程序再从中提取出我们需要的数据。3.储存数据——爬虫程序把这些有用的数据保存起来。获取数据——requests库requests库可以帮我们下载网页源代码、文本、图片甚至是音频。“下载”本质上是向服务器发送请求并得到响应
Fo*(Bi)·2023-10-29 19:42

Python 爬虫笔记（3）

1、引入模块frombs4importBeautifulSoupimportreimporturllibimportsqlite3importxlwt2、定义得到一个指定的URL网页内容的函数#得到一个指定URL的网页内容defaskURL(url):head={#模拟浏览器，向像豆瓣服务器发送消息（伪装）"User-Agent":"Mozilla/5.0(WindowsNT10.0;WOW64)
xxxz_02·2023-10-29 01:02

获取IEEE会议论文的标题和摘要

获取IEEE会议论文的标题和摘要–潘登同学的爬虫笔记文章目录获取IEEE会议论文的标题和摘要--潘登同学的爬虫笔记打开IEEE的高级搜索环境准备完整爬虫过程获取文章地址翻译函数获取文章标题和摘要前几天接到导师的一个任务
PD我是你的真爱粉·2023-10-27 02:53

Python爬虫笔记2——Requests：让HTTP服务人类

虽然Python的标准库中urllib2模块已经包含了平常我们使用的大多数功能，但是它的API使用起来让人感觉不好，而Requests自称“HTTPforHumans”，说明使用更简洁方便。Requests继承了urli2的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定相应内容的编码，支持国际化的URL和POST数据自动编码。Req
Fatsnake2·2023-10-26 12:27

python爬虫笔记----爬取中国传统色谱网的色号

网站：http://zhongguose.com/目标：爬取所有颜色和颜色的十六进制码网站简介：记录最具有代表性的中国传统颜色及颜色的十六进制码，方便p图取色参考，里面的颜色都是最具代表的中国色。首次看一下网站的源码，发现源码里面没有首页的样式，首页里面每一个色块的样式文件里都有记录颜色的名称和十六进制码，而在代码里是通过js方式呈现的，并不是一个纯静态页面，所以，使用常规的resquest爬虫是
步月生尘·2023-10-20 03:16

爬虫笔记_

爬虫简介爬虫初始深入爬虫在使用场景中的分类通用爬虫：抓取系统重要组成部分。抓取的是一整张页面数据聚焦爬虫：是建立在通用爬虫的基础上。抓取的是页面中特定的局部内容。增量式爬虫监测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。反爬机制可以通过制定相应的策略或技术手段防止爬虫进行爬取。反反爬策略可以通过制定相关策略或技术手段破解反爬机制从而可以获取门户网站中相关的数据。反爬机制：robots.
刘某某.·2023-09-19 04:49

Python网络爬虫笔记12：Scrapy进阶之数据建模与翻页

1数据建模通常在做项目的过程中，在items.py中进行数据建模；如果字段很少时，可以不建模1.1为什么建模定义item即提前规划好哪些字段需要抓，防止手误，因为定义好之后，在运行过程中，系统会自动检查配合注释一起可以清晰的知道要抓取哪些字段，没有定义的字段不能抓取，在目标字段少的时候可以使用字典代替使用scrapy的一些特定组件需要ltem做支持，如scrapy的ImagesPipeline管道
小薛引路·2023-09-08 10:22

python爬虫笔记一：爬取豆瓣中指定的明星所有图片

从这个网址学习的：https://www.bilibili.com/read/cv10367703/------------------------------------------------------------------------https://movie.douban.com/celebrity/1011562/photos/打开页面F12进入开发者工具，查看下载的页数，以及每页最
bestyellow·2023-09-07 15:42

python爬虫笔记二：爬取豆瓣中的影评

从这个网址学习的：https://zhuanlan.zhihu.com/p/399300580------------------------------------------------------------------------https://movie.douban.com/subject/25728006/comments点击下一页https://movie.douban.com/s
bestyellow·2023-09-07 15:42

【爬虫笔记】Python爬虫简单运用爬取代理IP

一、前言近些年来，网络上的爬虫越来越多，很多网站都针对爬虫进行了限制，封禁了一些不规则的请求。为了实现正常的网络爬虫任务，爬虫常用代理IP来隐藏自己的真实IP，避免被服务器封禁。本文将介绍如何使用Python爬虫来获取代理IP，以及如何在爬虫中使用代理IP。二、获取代理IP获取代理IP有两种方式：免费代理IP网站和收费代理IP服务。免费代理IP网站通常提供一些免费的代理IP，但是这些代理IP质量很
卑微阿文·2023-09-07 15:11

【网络爬虫笔记】爬虫Robots协议语法详解

Robots协议是指一个被称为RobotsExclusionProtocol的协议。该协议的主要功能是向网络蜘蛛、机器人等搜索引擎爬虫提供一个标准的访问控制机制，告诉它们哪些页面可以被抓取，哪些页面不可以被抓取。本文将进行爬虫Robots协议语法详解，同时提供相关代码和案例。1.Robots协议的基本语法Robots协议的基本语法如下：User-agent:[user-agentname]Disa
卑微阿文·2023-09-07 02:40

Python爬虫笔记（二）requests模块get，post，代理

一、使用步骤：1.导包importrequests2、确定基础urlbase_url='https://www.baidu.com'3、发送请求，获取响应response=requests.get(base_url)4、处理响应内容二、requests.get()—get请求方法参数详解（1）requests.get(url=请求url，headers=请求头字典，params=请求参数字典。ti
华夏龙傲天·2023-09-06 13:49

【Python爬虫笔记】爬虫代理IP与访问控制

一、前言在进行网络爬虫的开发过程中，有许多限制因素阻碍着爬虫程序的正常运行，其中最主要的一点就是反爬虫机制。为了防止爬虫程序在短时间内大量地请求同一个网站，网站管理者会使用一些方式进行限制。这时候，代理IP就是解决方案之一。本文主要介绍如何在爬虫程序中使用代理IP以应对反爬虫机制，以及如何进行访问控制，保障程序的正常运行。二、什么是代理IP代理IP即为代理服务器的IP地址，在爬虫程序中，我们可以使
卑微阿文·2023-09-05 18:24

python爬虫笔记——Scrapy框架(浅学)

一、创建Scrapy爬虫项目步骤：安装scrapy：在pycharm项目（自己新建的爬虫项目）的终端输入pipinstallscrapy创建爬虫项目：同样在终端输入scrapystartprojectmeijus（meijus是我的项目名称，可以自定义），通过treecrawler命令可以查看目录结构。通过Scrapy的Spider基础模版建立一个基础的爬虫：在终端通过cdmeijus到项目文件里
唯有读书高！·2023-09-02 10:11

8.22爬虫笔记4

爬取今日头条图集进入今日头条首页：https://www.toutiao.com/步骤：1、查看网页，查找我们需要的URL，分析URL2、获取网页内容，分析内容3、定位我们需要的内容4、将数据存储在搜素框输入要搜索的内容（例如：街拍），然后选择图集，F12检查，查看Ajax请求：第一次Ajax请求：再往下拉，触发第二次、第三次Ajax请求：（下图第二次Ajax请求）分析URL后发现发现规律只有of
Lujuntong·2023-08-24 20:14

爬虫笔记

https://www.51zxw.net/study.asp?vip=20451602学习网址importscrapyfromscrapy.linkextractorsimportLinkExtractorimportrequests,random,refrommyspoder.itemsimportMyspoderItemclassMusicspiderSpider(scrapy.Spider
SuperAutumnPig·2023-08-17 00:44

当编程遇上AI，纵享丝滑

下面根据我之前记的一个爬虫笔记，我
狂敲代码的橘子·2023-08-08 04:47

web爬虫第四弹 - 生产者与消费者模型（python）

去年好不容易静下心来想写点东西，也是因为各种琐事断掉了，看了下之前的爬虫笔记。
励志的大鹰哥·2023-08-04 21:10

python3的爬虫笔记14——Scrapy命令

命令格式：scrapy[options][args]commands作用命令作用域crawl使用一个spider开始爬取任务项目内check代码语法检查项目内list列出当前项目中所有可用的spiders，每一行显示一个spider项目内edit在命令窗口下编辑一个爬虫项目内parse用指定spider方法来访问URL项目内bench测试当前爬行速度全局fetch使用Scrapydownloade
X_xxieRiemann·2023-07-25 02:02

爬虫笔记之——selenium安装与使用（1）

爬虫笔记之——selenium安装与使用（1）一、安装环境1、下载Chrome浏览器驱动（1）查看Chrome版本（2）下载相匹配的Chrome驱动程序地址：https://chromedriver.storage.googleapis.com
朝兮暮兮·2023-07-17 00:25

爬虫笔记

最基本网页抓取importurllib2response=urllib2.urlopen("http://www.baidu.com")printresponse.read()调用函数urlopen(url,data,timeout)/urlopen(url)url-url，data-访问URL时要传送的数据，timeout-设置超时时间。data默认为空(None)timeout默认为socke
Cabcab·2023-07-14 06:30

5. 超炫酷的爬虫源代码-vip音乐下载器

【安迪笔记】文件夹里新建【2.爬虫笔记】文件夹。【2.爬虫笔记】文件夹里新建【5.vi
安迪python学习笔记·2023-06-09 14:03

Go分布式爬虫笔记(二十一)

文章目录21切片和哈希表切片底层结构截取扩容哈希表原理哈希碰撞拉链法开放寻址法（OpenAddressing）读取重建原理删除原理思考题Go的哈希表为什么不是并发安全的？在实践中，怎么才能够并发安全地操作哈希表？拉链法开放寻址法（OpenAddressing）21切片和哈希表切片下面的代码中，foo与bar最后的值是什么？foo:=[]int{0,0,0,42,100}bar:=foo[1:4]b
fun binary·2023-04-21 06:31

尚硅谷爬虫笔记（urlencode的方法)

把wd=周杰伦&sex=男&location=中国台湾省转换成wd=%E5%91%A8%E6%9D%B0%E4%BC%A6&sex=%E7%94%B7&location=%E4%B8%AD%E5%9B%BD%E5%8F%B0%E6%B9%BE%E7%9C%81可以看出使用了urlencode()会自动用&拼接importurllib.requestimporturllib.parsebase_ur
猛男执行官·2023-04-16 01:27

Go分布式爬虫笔记(二十)

文章目录20调度引擎调度引擎目标通道函数选项模式函数式选项模式的好处通道底层原理无缓冲区的通道带缓冲区的通道Select机制的底层原理思考题在我们的课程中，schedule函数其实有一个bug，您能看出来吗？你觉得可以用什么方式找出这样的Bug？20调度引擎调度引擎目标创建调度程序，接收任务并将任务存储起来执行调度任务，通过一定的调度算法将任务调度到合适的worker中执行创建指定数量的worke
fun binary·2023-04-13 11:49

Go分布式爬虫笔记(十九) 4月Day3

文章目录19搜索算法深度优先搜索算法广度优先搜索算法用广度优先搜索实战爬虫思考题递归是一种非常经典的思想，但是为什么在实践中我们还是会尽量避免使用递归呢？爬虫机器人有许多特征，并不是切换IP就一定能骗过目标服务器，举一个例子，相同的User-Agent有时会被认为是同一个用户发出来的请求。如何解决这一问题?19搜索算法要想构建高并发模型，我们首先要做的就是将一个大任务拆解为许多可以并行的小任务。比
fun binary·2023-04-12 22:18

龟速学爬虫笔记②

这一篇笔记主要介绍的是爬虫的原理。网络爬虫(WebSpider),是一个抓取网页的程序。从技术层面来说，它通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）爬到本地，进而提取自己需要的数据，存放起来使用。当通过客户端发出任务需求命令时，爬虫将通过互联网到达终端服务器，从网站某一个页面开始，读取网页的内容，从那里获得网页的源代码，在源代码中提取任务所需
夜之王。·2023-04-11 21:59

龟速学爬虫笔记④

在进行python爬虫时，往往还会用到lxml模块。这个模块是什么，有什么功能呢lxml是什么lxml是XML和HTML的解析器，其主要功能是解析和提取XML和HTML中的数据；lxml和正则一样，也是用C语言实现的，是一款高性能的pythonHTML、XML解析器，也可以利用XPath语法，来定位特定的元素及节点信息。HTML是超文本标记语言，主要用于显示数据，他的焦点是数据的外观。XML是可扩
夜之王。·2023-04-11 21:59

龟速学爬虫笔记①

搞爬虫感觉好吃基础QAQ，学得有点小吃力。这里只是介绍爬虫的代码，后续会总结一下爬虫的原理准备工作requests模块安装requests库python爬虫需要一个叫做requests的模块，那么第一个问题就是怎么安装requests库呢？我是在cmd里面用pipinstallrequests安装的，安好了之后保证venv里面有需要的工具就好了，这一步挺顺畅的。然后importrequests就好
夜之王。·2023-04-11 21:29

爬虫笔记（一）——第一个爬虫

最近对爬虫比较感兴趣，就在csdn上的电子书里找了本爬虫书（Python网络爬虫从入门到实践第2版）学学看，顺便做下笔记。注意：我们不管是在学习爬虫或者以后使用爬虫，都要遵守爬虫协议，也就是Robots协议，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Python爬虫的流程获取网页就是给一个网址发送请求，该网址会返回整个网页的数据。类似于在浏览器中键入网址并按回车键，然
不是七七子·2023-04-10 16:19
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他