爬虫系列

必须掌握的Cookie知识点都在这里

一、诞生背景爬虫系列教程的第一篇：HTTP详解中我们便说过HTTP的五大特点，而其中之一便是：无状态HTTP无状态：服务器无法知道两个请求是否来自同一个浏览器，即服务器不知道用户上一次做了什么，每次请求都
码农小光·2022-02-12 04:22

大数据学习笔记之爬虫系列（1）----爬虫简介

什么是爬虫？顾名思义，爬虫，可以将互联网理解成一张巨大的网，我们编写出一个爬虫程序，是创造出一只有明确需求的蜘蛛，从而在这张大网上爬行，抓取到我们所需要的网络资源。请求网站并提取数据的自动化程序爬虫爬的是什么？网页的源代码。获取网页的源代码最直接的途径：打开浏览器（本文以谷歌浏览器为例）鼠标右键，“检查”，或者是快捷键组合“Ctrl+Shift+I”检查元素.png上图即为百度首页的例子，我们单击
SofiyaJ·2022-02-09 13:33

爬虫系列（十）：使用xpath做爬虫

案例：使用XPath的爬虫现在我们用XPath来做一个简单的爬虫，我们尝试爬取某个贴吧里的所有帖子，并且将该这个帖子里每个楼层发布的图片下载到本地。#tieba_xpath.py#!/usr/bin/envpython#-*-coding:utf-8-*-importosimporturllibimporturllib2fromlxmlimportetreeclassSpider:def__ini
文子轩·2022-02-08 15:15

爬虫系列：穿越网页表单与登录窗口进行采集

上一期我们讲解了数据标准化相关内容，首先对单词出现的频率进行排序，之后对一些大小写进行转换，缩小2-gram序列的重复内容。当我们真正迈出网络数据采集基础之门的时候，遇到的第一个问题可能是：“我怎么获取登录窗口背后的信息呢？”今天，网络正在朝着页面交互、社交媒体、用户产生内容的趋势不断地演进。表单和登录窗口是许多网站中不可或缺的组成部分。不过，这些内容还是比较容易处理的。到目前为止，以前的示例当中
·2022-01-12 09:37

爬虫系列：数据标准化

上一期我们介绍了使用Python数据清洗的相关方法，本篇文章我们介绍数据标准化的相关方法。每个人都会遇到一些样式设计不够人性化的网页，比如“请输入你的电话号码，号码格式为xxx-xxxx-xxxx”。作为一名优秀的程序员，你可能会问：”为什么不自动对输入的数据进行清洗，去掉非数字内容，然后自动把数据加上分隔符呢？“数据标准化过程要确保清洗后的数据在语言学上是等价的，比如电话号码虽然显示成”134-
·2022-01-07 16:26

爬虫系列：数据清洗

上一期我们讲解了使用Python读取CSV、PDF、Word文档相关内容。前面我们已经介绍了网络数据采集的一些基础知识，现在我们将进入高级数据采集部分。到目前为止，我们创建的网络爬虫都不是特别给力，如果网络服务器不能立即提供样式规范的信息，爬虫就不能采集正确的数据。如果爬虫只能采集那些显而易见的信息，不经过处理就存储起来，那么迟早要被登录表单、网页交互以及Javascript困住手脚。总之，目前爬
·2021-12-28 16:16

爬虫系列：读取 CSV、PDF、Word 文档

上一期我们讲解了使用Python读取文档编码的相关问题，本期我们讲解使用Python处理CSV、PDF、Word文档相关内容。CSV我们进行网页采集的时候，你可能会遇到CSV文件，也可能项目需要将数据保存到CSV文件。Python有一个超赞的标准库可以读写CSV文件。虽然这个库可以处理各种CSV文件，但是我们这里重点介绍标准CSV格式。读取CSV文件Python的CSV主要是面向本地用户，也就是说
·2021-12-21 16:46

爬虫系列：读取文档

上一篇文章我们介绍了如何通过MySQL存储Python爬虫采集的内容，以及使用Python与MySQL交互，这篇文章我们介绍如何通过Python读取文档。虽然互联网在20世纪60年代末期就已经以不同的形式出现，但是HTML直到1992年才问世。在此之前，互联网上基本就是收发邮件传输文件；今天看到的网页概念那时还没有。总之，互联网并不是一个HTML页面的集合。他是一个信息集合，而HTML文件只是展示
·2021-12-21 15:53

【爬虫系列】2. 打开App逆向“潘多拉魔盒”

【爬虫系列】2.打开App逆向“潘多拉魔盒”一、前言近年大多产品要不Web端功能受限、要不直接就没有Web端，直接从Web端抓数据这个路子越来越难通过代理软件(whistle|fiddler|Charles
·2021-12-20 23:52

爬虫系列：使用 MySQL 存储数据

上一篇文章我们讲解了爬虫如何存储CSV文件，这篇文章，我们讲解如何将采集到的数据保存到MySQL数据库中。MySQL是目前最受欢迎的开源关系型数据库管理系统。一个开源项目具有如此之竞争力实在是令人意外，它的流行程度正在不断地接近两外两个闭源的商业数据库系统：微软的SQLServer和甲骨文的Oracle数据库（MySQL在2010年被甲骨文收购）。它的流行程度名符其实。对于大多数应用来说，MySQ
·2021-12-09 16:25

爬虫系列：使用 MySQL 存储数据

上一篇文章我们讲解了爬虫如何存储CSV文件，这篇文章，我们讲解如何将采集到的数据保存到MySQL数据库中。MySQL是目前最受欢迎的开源关系型数据库管理系统。一个开源项目具有如此之竞争力实在是令人意外，它的流行程度正在不断地接近两外两个闭源的商业数据库系统：微软的SQLServer和甲骨文的Oracle数据库（MySQL在2010年被甲骨文收购）。它的流行程度名符其实。对于大多数应用来说，MySQ
爬虫程序大魔王·2021-12-09 16:00

爬虫系列：存储 CSV 文件

上一期：爬虫系列：存储媒体文件，讲解了如果通过爬虫下载媒体文件，以及下载媒体文件相关代码讲解。本期将讲解如果将数据保存到CSV文件。
爬虫程序大魔王·2021-12-09 15:00

爬虫系列：存储 CSV 文件

本期将讲解如果将数据保存到CSV文件。逗号分隔值（Comma-SeparatedValues，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号）是存储表格数据常用文件格式。MicrosoftExcel和很多应用都支持CSV格式，因为它很简洁。下面是一个CSV文件的例子：code,parentcode,level,name,parentcodes,province,city,district
·2021-12-09 15:51

【Python爬虫系列】Python爬虫入门并不难，甚至入门也很简单（引言）

前言《Python从入门到实战》这个系列基础的知识点终于给大写完啦~今天开始给大家开始写写爬虫相关的内容：新一期的《Python爬虫系列》介绍了利用Python3进行网络爬虫开发的各项技术，从环境配置、
嗨！栗子同学·2021-12-01 09:16

爬虫系列：存储媒体文件

上一期讲解了：使用API本期爬虫系列主要讲解爬虫采集完成数据之后，我们应该怎么存储，以及用什么样的方式存储数据。
·2021-11-06 10:33

爬虫系列：使用 API

应用编程接口（ApplicationProgrammingInterface,API）的用处：它为不同的应用提供了方便友好的接口。不同的开发者用不同的架构，甚至是不同的语言编写软件都没有问题——因为API设计的目的就是要成为一种通信语言，让不同的软件进行信息共享。尽管目前不同的软件应用都有各自不同的API，但“API”经常被看成“网络应用API”，一般情况下，程序员可以用HTTP协议向API发起请
·2021-10-28 16:35

Python爬虫系列（二）——Python爬虫批量下载百度图片

1.前言先贴代码#-*-coding:utf8-*-importrequestsimportjsonfromurllibimportparseimportosimporttimeclassBaiduImageSpider(object):def__init__(self):self.json_count=0#请求到的json文件数量（一个json文件包含30个图像文件）self.url='http
Code花卷·2021-10-24 16:34

Python爬虫系列（一）——手把手教你写Python爬虫

1.什么是爬虫？根据百度百科的定义，网络爬虫，又称为网页蜘蛛，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。人们如今的生活，大都离不开网络，发一条微信，电子支付买一杯奶茶，刷一条微博，等等，都依赖于网络的便携性。但是，互联网茁壮成长的同时，海量的信息每天也会以指数级增长的方式充斥到网络环境中，那么如何快速高效地找到我们需要的信息，成为了很关键的功能，于是搜索引擎诞生了。搜索引擎替我们把
Code花卷·2021-10-23 15:34

爬虫系列：数据采集

在上一期，主要讲解了：连接网站与解析HTML上一期只是一个简单的例子，获取了网站的一小部分内容，本期开始讲解需要获取网站的所有文章列表。在开始以前，还是要提醒大家：在网络爬虫的时候，你必须非常谨慎地考虑需要消耗多少网络流量，还要尽力思考能不能让采集目标的服务器负载更低一点。本次示例采集TheScrapingBeeBlog博客的文章。在做数据采集以前，对网站经行分析，看看代码结构。需要采集的部分是一
·2021-10-19 09:08

爬虫系列：连接网站与解析 HTML

上一篇文章讲了：爬虫所带来的道德风险与法律责任这篇文章是爬虫系列第三期，讲解使用Python连接到网站，并使用BeautifulSoup解析HTML页面。
·2021-10-11 14:27

爬虫系列：爬虫所带来的道德风险与法律责任

使用网络爬虫做数据采集也应该有所不为。国内外关于网络数据保护的法律法规都在不断的制定与完善中，这篇文章主要从道德风险和法律责任两方面来分析爬虫做数据采集所带来的问题。道德层面：网络爬虫如果不严格控制网络采集的速度，会对被采集网站服务器造成很重的负担。恶意消耗别人网站的服务器资源，甚至是拖垮别人网站是一件不道德的事情。我作为一个站长，也经常遭到爬虫的无节制抓取，下面分享我自己的案例：在2018年11
·2021-10-04 16:03

爬虫系列：爬虫介绍

在大数据深入人心的时代，网络数据采集作为网络、数据库与机器学习等领域的交汇点，爬虫技术已经成为满足个性化网络数据需求的最佳实践。而数据采集采集就需要使用到网络爬虫（Webcrawler），网络爬虫也会被称为：网络铲（Webscraper，可类比于考古用的洛阳铲）、网络蜘蛛（Webspider），其行为一般是先“爬”到对应的网页上，把需要的的信息“铲”下来。网络搜索引擎和其他一些网站使用网络爬虫或蜘
·2021-09-25 17:12

我用Python爬取了五千张美女图壁纸，每天一张忘记初恋！

大家好，我是辣条，这是我爬虫系列的第26篇。爱美之心人皆有之，正所谓窈窕淑女君子好逑，美好敲代码的一天从好看的桌面壁纸开始，好看的桌面壁纸从美女壁纸开始。
五包辣条！·2021-09-24 20:43

Python爬虫系列——urllib详解

1.背景1.1初识爬虫网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本，其本质是模拟浏览器打开网页，获取网页中我们想要的数据。常用的百度、谷歌的搜索引擎也是一个爬虫，把互联网中的数据搜集组合起来便于用户检索。1.2合法性网络爬虫领域当前还属于拓荒阶段，“允许哪些行为”这种基本秩序还处于建设之中。如果抓取的数据属于个人使用或科研范畴，基本不存在问题;如果数据属于商业盈利范畴，就要就事而
·2021-09-23 18:44

我Python采集了新榜热门内容，原来这就是别人能成为自媒体大佬的秘密！

大家好，我是辣条，这是我爬虫系列的第25篇。今天爬取的是一个自媒体人宝藏网站。
五包辣条！·2021-09-23 13:51

【爬虫系列】1. 无事，Python验证码识别入门

最近在导入某站数据（正经需求），看到他们的登录需要验证码，本来并不想折腾的，然而Cookie有效期只有一天。已经收到了几次夜间报警推送之后，实在忍不住。得嘞，还是得研究下模拟登录。于是，秃头了两个小时gang出来了。预警二值化、普通降噪、8邻域降噪tesseract、tesserocr、PIL如果都了解这些东西，这文章就不用看了，直接跳到参考文献咯。代码地址：https://github.com/
·2021-08-07 14:58

redis读取mongo数据库的数据 -写给自己看爬虫系列6

前言需求：要向redis存入mongodb中的数据思路：利用redis和pymongo模块，读取mongo的数据后用lpush写入redis中。脚本importpymongo,redis'''读取mongo数据'''defread_data(c_n,d_n):client=pymongo.MongoClient('localhost',27017)db=client[d_n]collection=
wfishj·2021-06-23 17:50

python 爬虫爬取煎蛋网妹子图，我1T的硬盘装满了！

前言大家好，这里是「brucepk」爬虫系列教程。此系列教程以实例项目为材料进行分析，从项目中学习python爬虫，跟着我一起学习，每天进步一点点。
初xin工作室·2021-06-22 19:28

爬虫系列（二十八）：通过Fiddler进行手机抓包

通过Fiddler抓包工具，可以抓取手机的网络通信，但前提是手机和电脑处于同一局域网内（WI-FI或热点），然后进行以下设置：用Fiddler对Android应用进行抓包1.打开Fiddler设置image.png2.在Connections里设置允许连接远程计算机，确认后重新启动Fiddler1.1.在命令提示符下输入ipconfig查看本机IPimage.png2.打开Android设备的“设
文子轩·2021-06-22 04:07

【爬虫成长之路】（一）爬虫成长之路系列文章阅读指导

本系列文章共十篇：【爬虫成长之路】（一）爬虫系列文章导读【爬虫成长之路】（二）各篇需要用到的库和工具【爬虫成长之路】（三）【大众点评】selenium爬虫【爬虫成长之路】（四）【大众点评】selenium
keep1234quiet·2021-06-21 13:54

【爬虫成长之路】（二）各篇需要用到的库和工具

本系列文章共十篇：【爬虫成长之路】（一）爬虫系列文章导读【爬虫成长之路】（二）各篇需要用到的库和工具【爬虫成长之路】（三）【大众点评】selenium爬虫【爬虫成长之路】（四）【大众点评】selenium
keep1234quiet·2021-06-21 13:49

【爬虫成长之路】（六）【大众点评】mitmproxy中间人代理爬虫

本系列文章共十篇：【爬虫成长之路】（一）爬虫系列文章导读【爬虫成长之路】（二）各篇需要用到的库和工具【爬虫成长之路】（三）【大众点评】selenium爬虫【爬虫成长之路】（四）【大众点评】selenium
keep1234quiet·2021-06-21 13:31

【爬虫成长之路】（四）【大众点评】selenium登录+requests爬取数据

本系列文章共十篇：【爬虫成长之路】（一）爬虫系列文章导读【爬虫成长之路】（二）各篇需要用到的库和工具【爬虫成长之路】（三）【大众点评】selenium爬虫【爬虫成长之路】（四）【大众点评】selenium
keep1234quiet·2021-06-21 13:12

【爬虫成长之路】（三）【大众点评】selenium爬虫

本系列文章共十篇：【爬虫成长之路】（一）爬虫系列文章导读【爬虫成长之路】（二）各篇需要用到的库和工具【爬虫成长之路】（三）【大众点评】selenium爬虫【爬虫成长之路】（四）【大众点评】selenium
keep1234quiet·2021-06-21 13:03

从0到1学习Python3网络爬虫系列教程

版权声明：版权所有：公众号：学习python的正确姿势python爬虫前，抓包python爬虫系列教程00|什么是爬虫，怎么玩爬虫？
学习python的正确姿势·2021-06-13 11:49

-写给自己看爬虫系列5

前言需求：scrapy爬取网页速度十分缓慢，在目标网站良好的情况下三天才跑了80w条数据，参考其他爬虫的速度，一天抓取1000w条数据是没有问题的，scrapy性能需要优化。思路：经过各种搜索，scrapy提高性能核心逻辑是提高并发数量，最简单的实现方式可以通过调整settings的‘CONCURRENT_REQUESTS’等参数或者使用分布式爬虫来提速。除此之外代码也要尽量少用循环。本人的简单优
wfishj·2021-06-11 06:31

爬虫系列（十九）：spider

Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。classscrapy.Spider是最基本的类，所有编写的爬虫必须继承这个类。主要用到的函数及调用顺序为：init():初始化爬虫名字和start_urls列表start_re
文子轩·2021-06-10 23:30

爬虫系列（十八）：Item Pipeline

当Item在Spider中被收集之后，它将会被传递到ItemPipeline，这些ItemPipeline组件按定义的顺序处理Item。每个ItemPipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是itempipeline的一些典型应用：验证爬取的数据(检查item包含某些字段，比如说name字段)查重(并丢弃)将爬取结果保存到文件或者数据库中编写itemp
文子轩·2021-06-09 16:28

爬虫系列（二十三）：阳光热线问政平台

http://wz.sun0769.com/index.php/question/questionType?type=4爬取投诉帖子的编号、帖子的url、帖子的标题，和帖子里的内容。items.pyimportscrapyclassDongguanItem(scrapy.Item):#每个帖子的标题title=scrapy.Field()#每个帖子的编号number=scrapy.Field()#
文子轩·2021-06-05 20:23

python爬虫系列之 html页面解析：如何写 xpath路径

一、前言上一节我们讲了怎么批量下载壁纸，虽然爬虫的代码很简单，但是却有一个很重要的问题，那就是xpath路径应该怎么写。这个问题往往会被我们忽略，但xpath路径的写法是很重要的。不同的xpath路径写法会后续爬取代码会产生很大影响，而且不同的xpath写法的稳定性也不同，能不能写出优雅稳定的代码就要看xpath写得好不好了。下面我们来讲讲为什么xpath的写法这么重要二、为什么xpath写法很重
渔父歌·2021-05-20 14:18

python爬虫系列网络请求案例详解

学习了之前的基础和爬虫基础之后，我们要开始学习网络请求了。先来看看urlliburllib的介绍urllib是Python自带的标准库中用于网络请求的库，无需安装，直接引用即可。主要用来做爬虫开发，API数据获取和测试中使用。urllib库的四大模块：urllib.request:用于打开和读取urlurllib.error:包含提出的例外，urllib.requesturllib.parse:用
·2021-05-13 18:26

Python爬虫系列（二）Quotes to Scrape(谚语网站的爬取实战)

接下来自己会写一些关于爬虫实战的内容，把所学的知识加以运用。这篇文章是关于一个英文谚语网站的谚语爬取，并输出结果。这个网站大致有10页谚语，所以是一个关于selenium使用的例子，大致思路使用webrdriver获取“下一页”按钮，获取每一页源码，输入所要的谚语使用到的模块或工具（这些要提前准备好）：1、BeautifulSoup2、selenium3、time4、driver=webdrive
致Great·2021-05-13 08:10

Python爬虫系列之----Scrapy(一)爬虫原理

一、Scrapy简介Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。Scrapy使用Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、
Leo_JH·2021-05-12 17:24

爬虫系列（三十二）：动态页面模拟点击

动态页面模拟点击#!/usr/bin/envpython#-*-coding:utf-8-*-#python的测试模块importunittestfromseleniumimportwebdriverfrombs4importBeautifulSoupclassdouyuSelenium(unittest.TestCase):#初始化方法defsetUp(self):self.driver=web
文子轩·2021-05-12 09:22

Python爬虫系列（五）360图库美女图片下载

这几天终于忙完毕设和学校的事情，终于有时间来写Python了（(￣▽￣)~*）。前些天在群里看到有人讨论这个360美女图库的爬取。自己今天也尝试下（蛮简单）。因为这个网站是下拉到底底部，图片就会加载进来，所以自己想用Seleniu+PhantomJS来做，后来分享doc源代码并没有我们想要的图片信息，后来发现是js请求的数据，找到数据请求的地址，自己发现每次，下拉都会加载30张图片，所以自己将请求
致Great·2021-05-09 07:08

爬虫系列——使用scrapy爬取伯乐网文章

上一节，我们创建了一个scrapy项目，下面剪短的介绍一下scrapy的结构，并着手编写一个小爬虫！小爬虫：http://python.jobbole.com/category/guide/的所有分页里面带"爬虫"的系列文章先来说说scrapy项目的目录结构啦，直接上图：爬虫项目目录结构图我的项目名是bolecategory，下面的文件一一介绍一下：spiders文件夹：这个是专门写爬虫主类的文件
海贼王_浩·2021-05-08 06:37

Python爬虫系列-小猪短租

爬完木鸟短租后开始攻克小猪。小猪的网页结构和木鸟很像，我写的爬取计划和学习点是：1.城市数目封装函数2.获得城市列表3.在城市列表循环，爬取城市数目4.写入excel表。0.png第一步进行的很顺利，按部就班的用chrome在小猪这里找到单个城市的房源数，copyxpath得到链接。小猪的房源数没有木鸟的准确，不过也算数吧。但在城市列表这里就遇到坑了。小猪的城市列表不算难找（前提是你知道在JS找的
只是不在意·2021-05-08 05:01

聚沙成塔--爬虫系列（五）（请做个「优雅」的人）

通过上一篇文章聚沙成塔--爬虫系列（四）（爬取糗事百科段子）我们已经基本了解了爬虫的思想，首先是通过urlopen(...)函数去请求页面，然后通过正则表达式从函数返回回来的页面元素去匹配我们需要的信息
爱做饭的老谢·2021-05-01 23:06

-写给自己看爬虫系列4

前言问题：有朋友问起这究竟scrapy是广度优先还是深度优先？回答：深度优先是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续追踪链接广度优先，有人也叫宽度优先，是指将新下载网页发现的链接直接插入到待抓取URL队列的末尾，也就是指网络爬虫会先抓取起始页中的所有网页，然后在选择其中的一个连接网页，继续抓取在此网页中链接的所有网页经过官方文档查询，因为sc
wfishj·2021-04-30 15:05

python爬虫系列（2）—— requests和BeautifulSoup库的基本用法

本文主要介绍python爬虫的两大利器：requests和BeautifulSoup库的基本用法。1.安装requests和BeautifulSoup库可以通过3种方式安装：easy_installpip下载源码手动安装这里只介绍pip安装方式：pipinstallrequestspipinstallBeautifulSoup42.requests基本用法示例#coding:utf-8import
m2fox·2021-03-10 23:07
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他