Yhen爬虫笔记

【小白学爬虫笔记】HTTP0.9 HTTP1.0 HTTP1.1 HTTP/2

一、浮光掠影1.HTTP0.9只接受GET一种请求方法，没有在通讯中指定版本号，不支持请求头。不支持POST方法，所以客户端无法向服务器传递太多信息。2.HTTP1.0RFC194560页1996年3.HTTP1.1RFC2616176页1999年4.HTTP/2原名HTTP/2.0RFC7540/75412015年5月15日网站首页加载需要下载的数据量增加，超过1.9MB，平均每个页面为完成显示
麒麟楚庄王·2018-09-01 17:08

python笔记之爬虫笔记（一）——自建小型ip池以及mysql数据库的简单运用

前言：最近在爬取知乎的资料时，无奈在测试的时候一直频繁访问，导致IP被封（被封的提示为：)）于是在多次提取无果以后，如果购买代理不划算啊，刚好最近学了mysql数据库，为何不自建一个小型的ip代理池呢，顺便做个小项目练练手，供个人获取数据应该是够了，自力更生，丰衣足食。废话就不说了，直接上正文一、寻找代理网站提供的几十个免费代理。像西刺代理，百度一抓一大把，一般选择一个就行了，选择一个合适的sta
华山论健·2018-08-30 23:04

网络爬虫笔记（Day9）——初识Scrapy

爬虫步骤：分析需求获取网页的URL下载网页内容(Downloader下载器)定位元素位置,获取特定的信息(Spiders蜘蛛)存储信息(ItemPipeline,一条一条从管里传输)队列存储(Scheduler调度器)Scrapy：学习文档：https://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html首先,Spiders给我们一个初始的URL,Sp
甜瓜黍叔·2018-08-23 19:56

网络爬虫笔记（Day9）——初识Scrapy

爬虫步骤：分析需求获取网页的URL下载网页内容(Downloader下载器)定位元素位置,获取特定的信息(Spiders蜘蛛)存储信息(ItemPipeline,一条一条从管里传输)队列存储(Scheduler调度器)Scrapy：学习文档：https://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html首先,Spiders给我们一个初始的URL,Sp
甜瓜黍叔·2018-08-23 19:56

网络爬虫笔记（Day8）——BeautifulSoup

BeautifulSoup我们到网站上爬取数据，需要知道什么样的数据是我们想要爬取的，什么样的数据是网页上不会变化的。BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。BeautifulSoup自动将输入文档转换为Unicode编码，输出
甜瓜黍叔·2018-08-23 19:33

网络爬虫笔记（Day8）——BeautifulSoup

BeautifulSoup我们到网站上爬取数据，需要知道什么样的数据是我们想要爬取的，什么样的数据是网页上不会变化的。BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。BeautifulSoup自动将输入文档转换为Unicode编码，输出
甜瓜黍叔·2018-08-23 19:33

网络爬虫笔记（Day7）——Selenium

首先下载chromedriver将其放入Python运行环境下，然后再去pip安装selenium。最简单的结构代码如下：fromseleniumimportwebdriver#----------------------不打开浏览器窗口-------------------------option_chrome=webdriver.ChromeOptions()option_chrome.add
甜瓜黍叔·2018-08-22 09:33

网络爬虫笔记（Day5）——链家

注意：请不要爬取过多信息，仅供学习。分析：业务需求分析......（此例为住房信息...）查找相关网页信息（以链家为例）分析URL，查找我们需要的内容，建立连接定位数据存储数据首先进入链家网首页，点击租房，F12检查网页，查找我们需要的信息。如图：第一页url：https://bj.lianjia.com/zufang/第二页url：https://bj.lianjia.com/zufang/pg
甜瓜黍叔·2018-08-17 17:34

网络爬虫笔记（Day4）

爬取今日头条图集进入今日头条首页：https://www.toutiao.com/步骤：1、查看网页，查找我们需要的URL，分析URL2、获取网页内容，分析内容3、定位我们需要的内容4、将数据存储在搜素框输入要搜索的内容（例如：街拍），然后选择图集，F12检查，查看Ajax请求：第一次Ajax请求：再往下拉，触发第二次、第三次Ajax请求：（下图第二次Ajax请求）分析URL后发现发现规律只有of
甜瓜黍叔·2018-08-16 22:47

网络爬虫笔记（Day4）

爬取今日头条图集进入今日头条首页：https://www.toutiao.com/步骤：1、查看网页，查找我们需要的URL，分析URL2、获取网页内容，分析内容3、定位我们需要的内容4、将数据存储在搜素框输入要搜索的内容（例如：街拍），然后选择图集，F12检查，查看Ajax请求：第一次Ajax请求：再往下拉，触发第二次、第三次Ajax请求：（下图第二次Ajax请求）分析URL后发现发现规律只有of
甜瓜黍叔·2018-08-16 22:47

爬虫_糗事百科（scrapy）

糗事百科scrapy爬虫笔记1.response是一个'scrapy.http.response.html.HtmlResponse'对象，可以执行xpath,css语法来提取数据2.提取出来的数据，是一个
MARK+·2018-08-16 16:00

网络爬虫笔记（Day3）

首先分析雪球网https://xueqiu.com/#/property第一次进去后，第一次Ajax请求得到的是若下图所示的max_id=-1,count=10。然后往下拉，第二次Ajax请求，如下图；发现URL里面就max_id和count不同，max_id为前一次Ajax的最后一条数据的id，以后的每次请求都是count=15，故我需要对url进行拼接。URL拼接代码如下：url='https
甜瓜黍叔·2018-08-15 21:07

网络爬虫笔记（Day3）

首先分析雪球网https://xueqiu.com/#/property第一次进去后，第一次Ajax请求得到的是若下图所示的max_id=-1,count=10。然后往下拉，第二次Ajax请求，如下图；发现URL里面就max_id和count不同，max_id为前一次Ajax的最后一条数据的id，以后的每次请求都是count=15，故我需要对url进行拼接。URL拼接代码如下：url='https
甜瓜黍叔·2018-08-15 21:07

网络爬虫笔记（Day2）

爬取个人人人主页的代码：首先用最原始的方法进行，可以看出这样写代码，比较麻烦，重复代码很多：fromurllibimportrequest,parseurl='http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2018721913553'headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0
甜瓜黍叔·2018-08-14 21:04

网络爬虫笔记(Day1)

Day1爬虫的过程1.首先需要了解业务需求2.根据需求,寻找网站3.将网站数据获取到本地(可以通过urllib,requests等包)4.定位数据(rexpathcssjson等)5.存储数据(mysqlredis文件格式)最简单的爬虫结构fromurllibimportrequesturl='http://www.baidu.com'response=request.urlopen(url)in
甜瓜黍叔·2018-08-13 19:14

Python爬虫笔记（八）——Scrapy官方文档阅读——Scrapy常用命令集锦

#在project_dir目录下创建名为project_name的爬虫项目，如果不指定project_dir，默认目录名为项目名称scrapystartproject[project_dir]#获得可用命令集锦scrapy-h#查看某条命令如何使用scrapy-h#使用模板创建一个爬虫（注意是爬虫，即包含有爬虫代码的文件，不是爬虫项目，一个爬虫项目包含有许多文件，其中就包括包含爬虫代码的文件）sc
菜到怀疑人生·2018-08-12 08:42

Python爬虫笔记（十四）——Scrapy官方文档阅读——Selector

Scrapy的Selector用于提取数据，基于lxml实现，两者的效率相差不多下列代码均针对该html文本：ExamplewebsiteName:Myimage1Name:Myimage2Name:Myimage3Name:Myimage4Name:Myimage5使用selector构造selector：Scrapy的selector是Selector类的实例，通过text（html文本）或是
菜到怀疑人生·2018-08-12 08:39

Python爬虫笔记（十二）——Scrapy官方文档阅读笔记——request与response

Request和Response对象用于爬取网站Request对象Request对象代表HTTP请求，通常由Spider生成，由Downloader执行发送，然后由Downloader生成返回Response对象__init__：构造函数，常用参数：url：请求的urlcallback：用于处理response的函数，如果没有指定，scrapy默认使用parse函数method：HTTP请求的方法
菜到怀疑人生·2018-08-10 14:49

Python爬虫笔记（十二）——Scrapy官方文档阅读——Feed exports

Feedexports用于处理数据的存储Scrapy提供了开箱即用的数据存储格式：JSON使用的Feed_exports:JsonItemExporterJSONlines使用Feed_exports：JsonLinesItemExporterCSV使用Feed_exports：CsvItemExporterXML使用Feed_exports：XmlItemExporter通过设置，Scrapy可
菜到怀疑人生·2018-08-09 20:49

Python爬虫笔记（十）——Scrapy官方文档阅读——Scrapy shell

Scrapyshell用于测试Xpath和css表达式，查看它们提取的数据，Scrapy可以使用ipython、bpython、标准的pythonshell中的一个，可以通过设置SCRAPY_PYTHON_SHELL的值来决定，也可以在scrapy.cfg中定义：[settings]shell=bpython启动scrapyshell启动scrapyshell的命令：scrapyshellurl是
菜到怀疑人生·2018-08-09 07:20

python爬虫笔记（七）——scrapy文档阅读（一）——scrapy的基本使用

一、创建一个新的爬虫项目：scrapystartprojecttutorial创建的项目目录如下：tutorial/scrapy.cfg#deployconfigurationfiletutorial/#project'sPythonmodule,you'llimportyourcodefromhere__init__.pyitems.py#projectitemsdefinitionfilemi
菜到怀疑人生·2018-08-06 20:35

python爬虫笔记（六）——应对反爬策略

以下总结的全是单机爬取的应对反爬策略1、设置爬取速度，由于爬虫发送请求的速度比较快，会对服务器造成一定的影响，尽可能控制爬取速度，做到文明爬取2、重启路由器。并不是指物理上的插拔路由器，而是指模拟路由器重启时发送的表单。登陆自己的路由器，一般路由器会提供重启路由器的选项，根据路由器的重启特点进行模拟，如果觉得模拟请求麻烦，那就通过selenium+chromedriver直接点击重启，前提是路由器
菜到怀疑人生·2018-08-04 14:49

Python爬虫笔记（四）——动态页面的处理（上篇）

什么是动态页面我们知道js可以操纵DOM，可以请求后台，因此我们最终看到的html页面可能是js执行的结果，如果我们单纯用爬虫获取动态页面的html，看到的可能就是一堆js动态页面的处理我自己总结了两种方式，1、获取后台接口，2、通过selenium+chromdriver，这篇博客先介绍第一种，这两种方式各有优劣方式一：动态页面有一个特点，它所需要的数据需要自己去请求后台，不是写死在html中的
菜到怀疑人生·2018-08-02 15:46

Python爬虫笔记（三）——表单登陆

python版本为3.6表单登陆一般来说，各个网站表单登陆的方式是比较灵活的，在这里只介绍两种，这两种登陆方式的区别在于Content-Type的值方式一：multipart/form-datamultipart/form-data：指定传输数据为二进制类型，比如图片、mp3、文件此时账号与密码在body部分，boundary表示分割线，用于分割数据方式二：application/x-www-fo
菜到怀疑人生·2018-08-01 19:07

Python爬虫笔记（二）——多线程爬虫、正则表达式、多进程爬虫

正则表达式首先先简单介绍一下正则表达式（关于正则表达式的原理以及算法，等以后有时间在写）python中常使用以下函数来返回正则表达式匹配的项目（使用前先importre）：//pattern为正则表达式，string为待匹配的字符串，返回的是列表findall（pattern，string，flags=0）爬虫中常用的正则表达式：.表示任意字符^表示匹配行开头部分，在方括号表达式中使用，此时它表示
菜到怀疑人生·2018-07-20 20:06

爬虫笔记一之概念了解

爬虫爬虫的错误认识所谓的爬虫只是一段自动抓取所需要的信息的程序，所以爬虫不是只能使用python语音编写，也可以使用java、C语音等。爬虫的简单架构由于URL管理器不断的把URL传输给网页下载器，网页下载器又不断的传输字符串给网页解析器，网页解析器解析字符串，不断得到有价值的数据和新的URL，并将新的URL传给URL管理器，所以三者不断的循环，爬虫也就一直在工作了。爬虫的运行流程图片解析第一步：
山上农夫·2018-07-19 20:16

python简单爬虫笔记

python模拟游览器爬取相关页面importurllib.requesturl="https://blog.51cto.com/itstyle/2146899"#模拟浏览器headers=("User-Agent","Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/55.0.2883.87Safar
吴流·2018-07-18 22:44

python网络爬虫笔记三

一、Scrapy爬虫框架常用命令命令说明格式startproject创建一个新工程scrapystartproject[dir]genspider创建一个爬虫scrapygenspider[options]settings获取爬虫配置信息scrapysettings[options]crawl运行一个爬虫scrapycrawllist列出工程中所有爬虫scrapylistshell启动URL调试命
肖一二三四·2018-07-16 00:46

Python爬虫笔记（一）——基础知识简单整理

登陆时候的用户名和密码可以放在http的头部也可以放在http的body部分。 HTTPS是否可以抓取由于https运用的加密策略是公开的，所以即使网站使用https加密仍然可以获得数据，但是类似于微信这样的app，它自己实现了一套加密算法，想要抓取数据就变得比较困难。 制作爬虫时需要注意的HTTP字段HTTP请求头部分字段解释：accept：表明请求的资源类型accept-charset：表示请
菜到怀疑人生·2018-07-08 00:00

【爬虫笔记】使用Selenium打开网页

1.Selenium的安装非常简单pipinstallselenium就可以了使用selenium打开浏览器也是非常简单的，直接执行以下代码即可：fromseleniumimportwebdriverdriver=webdriver.Firefox()driver.get("http://www.baidu.com/")什么？出现错误了？自然。之前的版本不会这样，自从升级新版本之后就出现了这个问题
Jaborie203·2018-05-29 22:26

python爬虫笔记-weki数据传入数据库

#fromurllibimportrequestfromurllib.requestimporturlopen#fromurllib.requestimportRequestfromurllibimportparsefrombs4importBeautifulSoupimportreimportpymysql.cursorsresp=urlopen("https://en.wikipedia.or
SWJTU_CC·2018-04-15 20:10

python爬虫笔记-SQL查询weki数据

统计表格中的条数#导入开发包importpymysql.cursors#获取链接connection=pymysql.connect(host='localhost',user='root',password='123456',db='wikiurl',charset='utf8mb4')try:#获取会话指针withconnection.cursor()ascursor:#查询语句:统计表格中的
SWJTU_CC·2018-04-15 11:20

python爬虫笔记-weikipedia数据爬取

#fromurllibimportrequestfromurllib.requestimporturlopen#fromurllib.requestimportRequestfromurllibimportparsefrombs4importBeautifulSoupimportre#请求url并把结果用UTF-8编码resp=urlopen("https://en.wikipedia.org/w
SWJTU_CC·2018-04-14 12:47

python爬虫笔记-BeautifulSoup

BeautifulSoup是Python的一个库，最主要的功能就是从网页爬取我们需要的数据。BeautifulSoup将html解析为对象进行处理，全部页面转变为字典或者数组，相对于正则表达式的方式，可以大大简化处理过程。使用BeautifulSoup解析这段代码,能够得到一个BeautifulSoup的对象,并能按照标准的缩进格式的结构输出参考链接：https://www.crummy.com/
SWJTU_CC·2018-04-12 12:16

python爬虫笔记-urllib

urllib提供了一系列用于操作URL的功能。fromurllibimportrequest#引用urllibresp=request.urlopen("http://www.baidu.com")#打开网页,可以直接urlopen也可以先传入Request再传入urlopenprint(resp.read().decode("UTF-8"))#读取内容设置编码模式fromurllibimport
SWJTU_CC·2018-04-11 20:17

Python 爬虫笔记1 一（简单开场）

学习爬虫记笔记实例：#!/usr/bin/envpython3#coding:utf-8importurllib.requestimporturllib.parseurl="http://www.baidu.com"res=urllib.request.urlopen(url)data=res.read()#print(data)#保存data到内存withopen(r'/Users/dinglp
leo_ding·2018-03-23 18:03

urilib2检验代理IP

爬虫笔记---IP代理检验#!
IT__LS·2018-03-09 23:04

python爬虫笔记-持续更新

爬虫主要分为两个部分，第一个是网页界面的获取，第二个是网页界面的解析；爬虫的原理是利用代码模拟浏览器访问网站，与浏览器不同的是，爬虫获取到的是网页的源代码，没有了浏览器的翻译效果。这里我们使用urllib2进行网站页面的获取；首先导入urllib2模块包importurllib2调用urllib2中的urlopen方法链接网站，代码如下repr=urllib2.urlopen("XXXXXX"),
进阶的小橙子·2018-01-26 17:38

python网络爬虫笔记一

一、requests库的使用入门requests.request()构造一个请求，支撑以下各方法requests.get()获取HTML网页的主要方法，对应于HTTP的GRTrequests.head()获取HTML网页头信息requests.post()对应于HTTP的POSTrequests.put()对应于HTTP的PUTrequests.patch()向HTML提交局部修改请求reques
肖一二三四·2018-01-23 11:47

java爬虫-基于jsoup的简单爬虫实现（从智联获取工作信息）

先看效果,好的话就点个赞，jar包上个爬虫笔记中有链接先来一个热热身：packagecom.demo.test;importjava.io.IOException;importorg.jsoup.Jsoup
蓝星花·2018-01-04 11:43

Python爬虫笔记

讲道理，还是应该先把正则学一下的，不过因为任务简单，我就简单的尝试用了BeautifulSoup，还是很好用的。任务1：获取康奈尔图书馆的论文的题目、日期、摘要信息。图书馆地址：https://arxiv.org/github代码：https://github.com/leiseraiesecqd/Python-crawler/blob/master/for%20paper%20info.py==
No_limit·2017-12-11 13:42

Python爬虫笔记二——爬取爱因斯坦名言

这次的笔记主要和大家分享BeautifulSoup的一些用法。数据定位查找BS一个很大的作用就是可以对HTML中的tag进行定位。其中最常用的函数就是find()和findAll()，这两个函数其实功能相仿，差距在于一个只寻找最近的tag，另一个会查找所有的标签。其主要参数如下：tag:所要查找的tag，格式为字符串或列表（一系列tag）attributes:所要查找tag的attributes，
ironbeak_owl·2017-12-04 14:54

爬虫笔记-使用python爬取豆瓣短评

遇到的问题：如果不模拟登陆的话只能爬取200条评论，但是实现模拟登陆之后也只能爬取500条数据#-*-encoding:utf-8-*-importrequestsfrombs4importBeautifulSoupimportreimportrandomimporttime#使用session来保存登陆信息s=requests.session()#获取动态ip，防止ip被封defget_ip_l
hustllx·2017-11-28 09:05

python网络爬虫笔记之信息提取

信息组织与提取一、信息标记HTML:通过预定义的标签形式来组织不同类型的信息信息标记的种类有三种Xml,JSON,YAMLXml:扩展标记语言，与html格式很像通过标签形式来构造所有的信息，如果标签中有内容时我们用一对标签来表达：...如果标签中没有内容时，我们用一对尖括号来表达同时可以增加注释：JSON：采用有类型键值的方式：“key”:"value"如果对应的值的部分有多个，则采用方括号："
哈哈哈哈士奇VIP·2017-11-04 11:56

python爬虫笔记（三）

爬虫结果入库图：代码如下：#!/user/bin/python#-*-coding:UTF-8-*-importurllibimporturllib2importlxmlimportMySQLdbfrombs4importBeautifulSoupimporthttplibhttplib.HTTPConnection._http_vsn=10httplib.HTTPConnection._http
后打开撒打发了·2017-08-24 11:03

【Python爬虫】从零开始玩转爬虫——Top电影信息爬取

本次来搞搞Top电影排行榜的电影信息，同样这属于一篇学习性的文章，希望能够分享在学习过程中遇到的坑与学到的新技术，试图用最简单的话来阐述我所记录的Python爬虫笔记。
Mr.late·2017-08-16 17:27

爬虫笔记-01-爬虫介绍和BeautifulSoup

介绍一直想有时间学习爬虫技术，现在来吧，跟着OReilly出版的WebScrapingwithPython这本书来学习。环境准备因为本书推荐Python3为例，去官网下载Python3.x版本的Python安装包，直接安装就好了。安装的时候注意勾选加入path。话说我还没有学Python呢亲(⊙o⊙)！，没关系先稀里糊涂的用吧~~~不行了再说第一只爬虫书中首先做了一些介绍，主要内容是网络传输的过程
2MuchT·2017-06-26 13:37

python3的爬虫笔记11——Selenium和浏览器的一些设置

自从用了Selenium的方法，就停不下来了。毕竟稍微正式点的网站，都是JS动态加载数据。requests虽然速度快，但能用的范围还是有限。在不追求极至效率的情况下，Selenium使用方便简单并且强大。这里总结一些比较实用的Selenium和PhantomJS、Chrome的设置。后续跟进更新，会把我以后用到的觉得还算实用的方法放进来。1.限制页面加载时间seleniumwebdriver在ge
X_xxieRiemann·2017-05-22 18:42

python3的爬虫笔记9——Selenium的用法

继续介绍下selenium的用法，一共以两个例子来呈现。分别对应的是QQ空间模拟登录（如何传送登录信息和确认，iframe如何切换），爬取7日热门（页面如何拉到底）。浏览器用的是chrome。（1）QQ空间模拟登录（如何传送登录信息和确认，iframe如何切换）网址：http://user.qzone.qq.com/我们是如何一般登录的：第一步：点击账号密码登录第二步：输入账号密码第三步：点击登录
X_xxieRiemann·2017-05-06 23:44

python3的爬虫笔记6——COOKIE登录

我们经常有这样的上网经历，就是如果你采用用户名密码登陆一个网站之后，如果在一段不长的时间内，再次访问这个本来需要你登陆的网站，你会很轻易地访问，而不需要再次输入用户名密码。这种“免登陆”的体验无疑给用户带来了非常好的体验，那为什么会“免登陆”呢？是什么在起作用呢？答案就是Cookie。当我们在浏览器内输入url，浏览器会向服务器发送一个HTTP请求，相应的，服务器会响应这个请求，向浏览器返回响应的
X_xxieRiemann·2017-04-24 12:09
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他