爬虫学习笔记

【Python3 爬虫学习笔记】Scrapy框架的使用 3

Selector的用法利用BeautifulSoup、pyquery以及正则表达式来提取网页数据，这确实非常方便，而Scrapy还提供了自己的数据提取方法，即Selector（选择器）。Selector是基于lxml来构建的，支持XPath选择器、CSS选择器以及正则表达式，功能全面，解析速度和准确度非常高。直接使用Selector是一个可以独立使用的模块。我们可以直接利用Seletor这个类来构
htsait4113·2018-10-31 17:44

【Python3 爬虫学习笔记】Scrapy框架的使用 2

运行进入Scrapy创建的目录，运行如下命令：scrapycrawlquotes首先，Scrapy输出了当前的版本号以及正在启动的项目名称。接着输出了当前settings.py中一些重写后的配置。然后输出了当前所应用的Middlewares和Pipelines。Middlewares默认是启动的，可以在settings.py中修改。Pipelines默认是空，同样页可以在settings.py中配
htsait4113·2018-10-27 09:37

【Python3 爬虫学习笔记】数据存储 4 -- MySQL的存储

在Python2中，链接MySQL的库大多是使用MySQLdb，但是此库的官方并不支持Python3，所以这里推荐使用的库是PyMySQL。连接数据库这里尝试连接一下数据库。假设当前的MySQL运行在本地，用户名为root，密码为root，运行端口为3306。这里利用PyMySQL，然后创建一个新的数据库，名字叫作spiders，代码如下：importpymysqldb=pymysql.conne
htsait4113·2018-10-18 23:58

【Python3 爬虫学习笔记】解析库的使用 6 —— Beautiful Soup 4

texttext参数可用来匹配节点的文本，传入的形式可以是字符串，可以是正则表达式，可以是正则表达式对象，示例如下：importrehtml='''Hello,thisisalinkHello,thisisalink,too'''frombs4importBeautifulSoupsoup=BeautifulSoup(html,'lxml')print(soup.find_all(text=re.
htsait4113·2018-10-13 20:37

【Python3 爬虫学习笔记】解析库的使用 4 —— Beautiful Soup 2

父节点和祖先节点如果要获取某个节点元素的父节点，可以调用parent属性：html="""TheDormouse'sstoryOnceuponatimetherewerethreelittlesisters;andtheirnameswereElsie..."""frombs4importBeautifulSoupsoup=BeautifulSoup(html,'lxml')print(soup.
htsait4113·2018-10-13 18:41

【Python3 爬虫学习笔记】解析库的使用 3 —— Beautiful Soup 1

BeautifulSoup可以借助网页的结构和属性等特性来解析网页。有了BeautifulSoup，我们不用再去写一些复杂的正则表达式，只需要简单的几条语句，就可以完成网页中某个元素的提取。BeautifulSoup是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。官方解释如下：BeautifulSoup提供一些简单的、Python式的函数来处理导航、搜索、修改分析树
htsait4113·2018-10-10 22:13

Python数据爬虫学习笔记（22）JSON信息并解析

一、需求：有一个通过抓包得到的京东商品的JSON链接，解析该JSON内容，并提取出特定id的商品价格p，json内容如下：jQuery923933([{"op":"7599.00","m":"9999.00","id":"J_5089253","p":"7099.00"},{"op":"48.00","m":"96.00","id":"J_16463451903","p":"38.00"},{"o
郑允豪@Smart3S·2018-10-06 13:48

Python数据爬虫学习笔记（21）Scrapy爬取当当图书数据并存储至SQLite数据库

一、需求：在当当网的程序设计类图书商品界面中，爬取图书的名称、详情链接以及评论数，并将信息存储至SQLite数据库。二、URL及网页源码分析：1、URL分析，注意到商品搜索页的URL具有以下结构：2、源码分析，观察网页的源代码，寻找商品名称、商品链接、评论数信息的所在位置。1）商品名称：存在于class属性为pic的a标签中的title属性中。2）商品链接：与商品名称类似，存在于存在于class属
郑允豪@Smart3S·2018-10-05 23:09

Python数据爬虫学习笔记（20）Scrapy模拟登录实现豆瓣用户信息爬虫

一、需求：在豆瓣官网中，使用Scrapy实现模拟登录，并爬取登录后的个人中心界面中的用户名及日记信息数据。二、实现思路：1、关于用户名与密码以及其提交网址：观察登录网页的源代码，注意到用户名与密码都使用不同name属性的input来输入。登录信息的提交网址为，这个网址可以在源代码中找到，但是非常建议使用Fiddler进行抓包分析得到，方法是首先对Fiddler进行clear，然后故意输入错误的用户
郑允豪@Smart3S·2018-10-05 20:34

Python数据爬虫学习笔记（11）爬取千图网图片数据

需求：在千图网http://www.58pic.com中的某一板块中，将一定页数的高清图片素材爬取到一个指定的文件夹中。分析：以数码电器板块为例1.查看该板块的每一页的URL：注意到第一页是“0-1.html”，第二页是“0-2.html”，由此可找到规律。2.查看缩略图片的URL，使用F12开发者工具，通过element选项卡中的工具对网页div进行不断展开，找到图片真正的地址：例如：3.查看高
郑允豪@Smart3S·2018-09-18 21:34

【Python3 爬虫学习笔记】基本库的使用 5 —— 使用urllib

4.分析Robots协议利用urllib的robotparser模块，可以实现网站Robots协议的分析。4.1Robots协议Robots协议也称为爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准(RobotsExclusionProtocol)，用来告诉爬虫和搜索引擎哪些页面可以爬取，哪些不可以抓取。它通常是一个叫作robots.txt的文本文件，一般放在网站的根目录下。当搜索爬虫访问一个站
htsait4113·2018-09-16 14:21

Python数据爬虫学习笔记（10）淘宝图片爬虫实战

所谓图片爬虫，即是从互联网中自动把对方服务器上的图片爬下来的爬虫程序。一、图片爬虫前的网页链接分析1.首先打开淘宝首页，在搜索框中输入关键词，如“神舟”，在搜索结果界面中点击下一页，分别打开第一页，第二页，第三页的搜索结果，并记下每一页结果的URL至记事本中，如下：2.观察每一个网页的URL，不要去观察它们不同的部分，而是着眼于每个URL中相似的部分。（1）可以注意到每个URL中都有“s=XXX”
郑允豪@Smart3S·2018-09-15 20:17

【Python3 爬虫学习笔记】爬虫框架的安装

直接用requests、Selenium等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了就会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫框架就诞生了。一、pyspider的安装pyspider是支持JavaScript渲染的，而这个过程是依赖于PhantomJS的，所以还需要安装Phant
htsait4113·2018-09-14 14:08

【Python3 爬虫学习笔记】Python3的安装

Python3的安装相关链接：官网网站：http://python.org下载地址：https://www.python.org/downloads第三方库：https://pypi.python.org/pypi官方文档：https://docs.python.org/3中文教程：http://www.runoob.com/python3/python3-tutorial.htmlAwesome
htsait4113·2018-09-12 22:22

Python爬虫学习笔记（六）——BeautifulSoup和pyquery的使用

介绍BeautifulSoup和pyquery都是用来解析html的库，与昨天学的XPath有很多相似之处，因此就将这两个库放在一起学习BeautifulSoup库基本用法frombs4importBeautifulSouphtml=#略#初始化BeautifulSoup，第二个参数表示解释器为lxmlsoup=BeautifulSoup(html,'lxml')#prettify()方法可以标准
weixin_34361881·2018-09-06 16:00

Python数据爬虫学习笔记（3）爬取豆瓣阅读的出版社名称数据

需求：写一个Python程序，实现获取豆瓣阅读网页上的所有出版社名称，并储存在指定路径的txt文件中，如下：准备：观察该网页的源代码，注意到每个出版社名称都由固定格式的div所包裹，如下：编写代码：importurllib.requestdata=urllib.request.urlopen("https://read.douban.com/provider/all").read()data=da
郑允豪@Smart3S·2018-09-05 21:26

【学习笔记】python爬虫---代理池

背景：崔庆才的爬虫学习笔记整体架构：获取模块【各大网址爬取代理】----->存储模块【redis有序集合存储】检测模块||V接口模块【web接口】============================
Jesszen·2018-07-19 22:04

爬虫学习笔记_通用爬虫

1.通用爬虫框架概念：通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。2.爬虫的设计思路：-2.1.首先确定需要爬取的网页URL地址。-2.通过HTTP/HTTP协议来获取对应的HTML页面。-3.提取HTML页面里有用的数据：a.如果是需要的数据，就保存起来。b.如果是页面里的其他URL，
hhk24·2018-07-16 09:25

爬虫学习笔记（三）requests模块使用

前面在说爬虫原理的时候说了，就写代码自动化的获取数据，保存下来数据，那怎么写代码来请求一个网址，获取结果呢，就得用requests模块了。这篇博客说一下requests模块的使用，requests模块是python的一个第三方模块，它是基于python自带的urllib模块封装的，用来发送http请求和获取返回的结果，操作很简单。requests模块是第三方模块，不是python自带的，需要安装才
CHK.·2018-07-03 21:00

[笔记]python爬虫学习笔记（三）——设置User Agent和代理IP

运行平台：WindowsPython版本：Python3.xIDE：Sublimetext3参考学习博客：http://blog.csdn.net/c406495762/article/details/60137956有些网站会检测连接对象，以防止网络爬虫访问。设置UserAgent可以起到隐藏访问身份的作用。UserAgent存放于Headers中，服务器就是通过查看Headers中的UserA
Cccrush·2018-05-12 14:47

[笔记]python爬虫学习笔记（二）——向网页发送请求（json）

运行平台：WindowsPython版本：Python3.xIDE：Sublimetext3学习参考博客：http://blog.csdn.net/c406495762/article/details/58716886#-*-coding:UTF-8-*-importioimportsysfromurllibimportrequestfromurllibimportparseimportjsons
Cccrush·2018-05-12 13:17

[笔记]python爬虫学习笔记（一）——网页的获取和打印

运行平台：WindowsPython版本：Python3.xIDE：Sublimetext3学习参考博客：http://blog.csdn.net/c406495762/article/details/58716886开发环境搭建参考博客：http://www.cnblogs.com/nx520zj/p/5787393.html在Subilimetext3搭建python编译环境时遇到了各种bug
Cccrush·2018-05-12 10:56

python网络爬虫学习笔记（1）

本文实例为大家分享了python网络爬虫的笔记，供大家参考，具体内容如下（一）三种网页抓取方法1、正则表达式：模块使用C语言编写，速度快，但是很脆弱，可能网页更新后就不能用了。2、BeautifulSoup模块使用Python编写，速度慢。安装：pipinstallbeautifulsoup43、Lxml模块使用C语言编写，即快速又健壮，通常应该是最好的选择。（二）Lxml安装pipinstall
赖权华·2018-04-09 10:23

python3爬虫学习笔记之模拟淘宝登录

准备工作使用chromef12调试模式，抓包查看淘宝登录的整个流程，并查看post请求的数据值得注意的是，淘宝用的是gbk编码说明此版本没有处理验证码，只是单纯的登录具体的流程和实现都在代码注释中代码实现12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535
网易课堂-小金子·2018-04-08 14:52

Python网络爬虫学习笔记一

fromurllib2importurlopen html=urlopen("http://www.csdn.net") print(html.open())1.urllib是Python的标准库，包含了从网络请求数据，处理cookie，改变请求头和用户代理这些元数据的函数。Python2.x中使用urllib2库，urllib2与urllib有些不同，在Python3.x里，urllib2改名为
freecafe·2018-01-15 00:00

Python3爬虫学习笔记（4.BeautifulSoup库详解）

这是一个功能强大的库，可以代替很多需要写正则的地方这是一个第三方解析库，常规安装方法：调出cmd：pipinstallbs4简单了解：html="""TITLE/第一行，第1列第一行，第2列第一行，第3列"""frombs4importBeautifulSoupsoup=BeautifulSoup(html,'lxml')#自动补全修正html文本print(soup.prettify())#获得
__XYQ·2017-12-15 11:08

爬虫学习笔记（三）——下载一个网站download函数

一.下载网页1.版本1.0：fromurllib.requestimporturlopendefdownload(url):html=urlopen(url).read()returnhtml2.不简洁，不直观所以有了升级版本1.1：defdownload(url):print('Downloading:',url)returnurlopen(url).read()3.当获取网页时有错误时，防止崩
不_初心·2017-12-09 13:47

精通python网络爬虫学习笔记（1）

精通python网络爬虫学习笔记（1）第一章爬虫的组成：控制节点，爬虫节点，资源库网络爬虫中可以有多个控制节点，多个爬虫节点，控制节点之间可以互相通信，控制节点和其下的爬虫节点之间也可以互相通信，同一控制节点其下的爬虫节点之间也可以互相通信
polarislove1113·2017-12-08 20:19

Python网络爬虫学习笔记（一）

因工作需要，首次接触Python和爬虫，将会参考很多书籍及网络资料（网络资料以搜索到的为准，并未对第一作者进行考证），这里进行一个整理，并记录下学习历程~一、软件下载及环境配置1、anaconda用于科学计算的Python发行版，提供了包管理与环境管理`的功能，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题，并且已经包含了Python和相关的配套工具。（参考下述配置及教程中的
几光年·2017-11-18 00:00

Python 爬虫学习笔记三：多页内容爬取&内容分析及格式化

Python爬虫学习笔记三：多页内容爬取&内容分析及格式化pythonint与string之间的转换：Pythonint与string之间的转化string–>int1、10进制string转化为intint
JennyChen333·2017-11-15 15:26

Python 爬虫学习笔记二： xpath 模块

Python爬虫学习笔记二：xpathfromlxml首先应该知道的是xpath只是一个元素选择器，在python的另外一个库lxml中，想要使用xpath必须首先下载lxml库lxml库的安装：很简单
JennyChen333·2017-11-14 16:03

Python 爬虫学习笔记一： requests 模块

Python爬虫学习笔记一：requests模块[转]Requests是用Python语言编写，基于urllib，采用Apache2Licensed开源协议的HTTP库。
JennyChen333·2017-11-08 11:53

python网络爬虫学习笔记之实力爬虫（

淘宝商品比价定向爬虫 插播一句过几天就是双十一了，emmmmmmmm又要剁手了四不四-------------------------------------------------------------------------------------------好了言归正传，正经分割线-------------------------------------------------------
哈哈哈哈士奇VIP·2017-11-06 00:00

爬虫学习笔记--爬取静态网页

声明：我这里是学习唐松老师的《Python网络爬虫从入门到实践》的学习笔记只是记录我自己学习的过程详细内容请购买老师正版图书importrequestsr=requests.get('http://www.santostang.com/')print("文本状态码：",r.encoding);print("响应状态码：",r.status_code);print("字符串响应体：",r.text)
Qin_xian_shen·2017-09-27 13:35

Python爬虫学习笔记Day3

今天学习的是如何下载豆瓣首页的图片然后保存到本地豆瓣首页如下：抓取代码如下importurllib.requestimportreimportosimagePath='/Users/touna/Desktop/image'#保存文件的方法defsaveFile(path):#检测路径是否存在if不存在就创建ifnotos.path.isdir(imagePath):os.mkdir(imagePa
半桶水技术·2017-09-19 14:50

Python爬虫学习笔记Day2

有些网站需要做了限定浏览器才能打开所以这次我们要伪装一个浏览器取抓去数据还是以豆瓣为例代码如下：'''伪装浏览器Mozilla/5.0(Macintosh;IntelMacOSX10_12_6)AppleWebKit/537.36(KHTML,likeGecko)Chrome/60.0.3112.113Safari/537.36'''importurllib.requesturl='https:/
半桶水技术·2017-09-18 16:07

python2.7爬虫学习笔记（一）---Urllib库的使用

扒一个网页：[python]viewplaincopyprint?importurllib2response=urllib2.urlopen("http://www.baidu.com")printresponse.read()第一行：调用了urllib2库里边的urlopen方法，传入一个url，这个方法一般接收三个参数，如下：[python]viewplaincopyprint?urlopen
qq_33874468·2017-05-24 11:37

Python爬虫学习笔记（1.4）综合实例-58同城

0D24C459-B22E-4237-8815-F4CDE00D549F.png上图是我们要爬取的页面，首先把标题、发布时间、价格、区域这几个比较容易爬取的信息爬下来，代码如下。frombs4importBeautifulSoupimportrequestsurl='http://hz.58.com/pingbandiannao/19523317368970x.shtml'wb_data=requ
RickyLin7·2017-04-21 10:48

Python爬虫学习笔记（1.3）爬取网站异步加载数据

异步加载数据：简单的举个例子，有些网页不需要换页，只要网页上的滚动条滑到最下方，它就会自动加载部分数据，和瀑布流一样，可以持续不断的加载数据，这些持续加载的数据就属于异步数据（由js控制，和请求网址的Request不是一起的）。示例网站的URL：https://knewone.com/things/首先，使用浏览器工具检查，选择Network下的XHR，然后鼠标往下滑，让网页不断的加载数据，观察X
RickyLin7·2017-04-21 10:19

Python爬虫学习笔记（1.2）爬取现实页面

示例网页用豆瓣电影top250。豆瓣top250其实是一个多页面的爬取，并没有什么可怕之处，首先做第一个页面的爬虫frombs4importBeautifulSoupimportrequestsimporttimeurl='https://movie.douban.com/top250?start=0&filter='wb_data=requests.get(url)soup=BeautifulS
RickyLin7·2017-04-06 08:55

Python网络爬虫使用总结

参见：Python网络爬虫学习笔记(定向)网络爬虫使用总结:scrapy(5+2结构)使用步骤：第一步：创建工程；第二步：编写Spider；第二步：编写ItemPipeline；第四步：优化配置策略；工程路径
Anderslu·2017-03-25 23:32

Python网络爬虫学习笔记(定向)

Windows安装python运行环境Python安装，建议安装3.的版本，因为3.的版本编码语言模式utf-8。安装包下载网址为：python官网下载地址，双击一步步执行下去即可。IDE的安装，个人习惯了JetBrains的PyCharm，我们平日里做各种小程序，学习之类的下载社区版本(免费版)即可，下载网址为：PyCharm下载地址。双击一步步执行下去即可。以安装Django为例，讲解一下pi
Anderslu·2017-03-20 22:14

Python 3 爬虫学习笔记 5 urlretrieve， 存储为csv， mysql

此学习笔记整理于RyanMitchellWebScrapingwithPython-CollectingDatafromtheModernWeb(2015)ChapterStoringdata一，urlretrieveurlretrieve是urllib.request里面的一个函数，知道了文件在html结构里面的位置就可以取回文件了。例子中，位置是imageLocation那一句。urlretr
懒大·2017-02-10 04:11

爬虫学习笔记四、 python爬虫实战，爬取图书馆资料，存储到mysql数据库

1、设置url进入图书馆书目检索系统，分析它的url，可以很容易找到规律就是它的后缀no=0000+五位的图书编码，例如：http://210.44.58.116:8080/opac/item.php?marc_no=0000560645利用规律我们就可以这样来遍历url，代码如下：defgeturl(start):#start为开始的图书编码url='http://210.44.58.116:8
LCYong_·2016-11-21 21:50

爬虫学习笔记二、 python3.4连接mysql数据库

在python3.4版本中不支持python2.X中的MySQLdb，需要导入pymysql包，不要安装错了。1、CMD下输入pipinstallpymysql导入pymysql包2、测试代码如下：实现查询功能：importpymysqltry:#获取数据库连接conn=pymysql.connect(host='localhost',user='root',password='root',d
LCYong_·2016-11-21 21:25

爬虫学习笔记二、 python3.4连接mysql数据库

在python3.4版本中不支持python2.X中的MySQLdb，需要导入pymysql包，不要安装错了。1、CMD下输入pipinstallpymysql导入pymysql包2、测试代码如下：实现查询功能：importpymysql try: #获取数据库连接 conn=pymysql.connect(host='localhost',user='root',password='roo
LCYong_·2016-11-21 21:00

网络爬虫学习笔记——GET方法下几种常用情况

在网页抓取的过程中，GET方法是最基础的方法，很多网站都是主要由GET方法请求组成的（当然也有很变态的，这种网站的开发人员辛苦了，一般下一个页面访问需要的参数是上个页面中源码的内容）。下面以GET方法简单介绍些常遇到的情况。1、参数提交参数提交并不是POST方法的专利，GET方法也可以实现对应的参数传递。这种主要是在请求的地址中进行传值，最常见的传值应该是翻页。如下图中在百度中搜索“csdn”,主
acm2014·2016-11-20 18:06

网络爬虫学习笔记——网络爬虫简介

网络爬虫就是通过计算机程序来模拟人类利用浏览器浏览网页的行为来获取所需的信息的行为。这样可以节省人力和避免信息的遗漏，比较贴近的估计就是在网络上寻找电影资源了。我们都尝试过需要一些老的电影的资源，一般这些资源都相对较少了。我们需要逐个网页的去浏览来获取电影的下载地址，并对地址是否有效进行甄选。网络爬虫就是可以通过程序来实现这个过程，直接把最终的地址返回给用户。正因为源于模拟浏览器的行为，我们能够更
acm2014·2016-11-15 21:42

Python爬虫学习笔记（一）

在爬取‘’小猪短租‘’中户主性别信息时，遇到需要对户主性别进行判断再return回相应性别的情况。其中通过运用代码一轻松获取了性别数据（字符串）。总结比较代码一：genders=soup.select('div.js_box.clearfix>div.member_pic>div')[0].get('class')[0]代码二：gender=soup.select('div.js_box.clea
哈尔的移动枕头·2016-11-07 14:24

Python 爬虫学习笔记之多线程爬虫

XPath的安装以及使用1.XPath的介绍刚学过正则表达式，用的正顺手，现在就把正则表达式替换掉，使用XPath，有人表示这太坑爹了，早知道刚上来就学习XPath多省事啊。其实我个人认为学习一下正则表达式是大有益处的，之所以换成XPath，我个人认为是因为它定位更准确，使用更加便捷。可能有的人对XPath和正则表达式的区别不太清楚，举个例子来说吧，用正则表达式提取我们的内容，就好比说一个人想去天
千里追风·2016-09-21 10:24
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他