爬虫基础

爬虫基础之基本原理

为什么叫爬虫：我们可以把互联网比作一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到这就相当于访问了该页面，获取了其信息。可以把节点间的连线比作网页与网页之间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到，网站的数据就可以被抓取下来了。1.爬虫概述简单来说，爬虫
miner_zhu·2018-08-17 16:30

爬虫基础之网页基础

用浏览器访问网站时，页面各不相同，本次，我们就来了解一下网页的基本组成、结构和节点等内容。1.网页的组成网页可以分为三大部分——HTML、CSS和JavaScript。如果把网页比作一个人的话，HTML相当于骨架，JavaScript相当于肌肉，CSS相当于皮肤，三者结合起来才能形成一个完善的网页。下面我们分别来介绍一下这三部分的功能。(1)HTMLHTML是用来描述网页的一种语言，其全称叫作Hy
miner_zhu·2018-08-17 16:19

爬虫基础之HTTP基本原理

1.URI和URLURI的全称为UniformResourceIdentifier，即统一资源标志符。URL的全称为UniversalResourceLocator，即统一资源定位符。URL是URI的子集，也就是说每个URL都是URI，但不是每个URI都是URL。那么，怎样的URI不是URL呢？URI还包括一个子类叫作URN，它的全称为UniversalResourceName，即统一资源名称。U
miner_zhu·2018-08-17 15:53

python爬虫基础（8：验证识别之图片码验证）

上篇文章讲了模拟登录，在有些时候，我们想要登录成功，还需要通过一些验证，这次就来讲讲这种情况的处理tesserocr模块类似于下图中的这种验证，我们可以通过一个图片识别库tesserocr来进行识别例如要识别这张图片代码：#导入Image图片对象fromPILimportImage#导入图片识别包importtesserocr#open()方法获取要识别的图片image=Image.open('C
Jeeson_Z·2018-08-16 17:06

python 爬虫与数据可视化--python基础知识

python语音，感觉语法简单、功能强大，刚好朋友分享了一个网课《python爬虫与数据可视化》，于是在工作与闲暇时间学习起来，并做如下课程笔记整理，整体大概分为4个部分（1.python基础知识2.爬虫基础知识
weixin_30496751·2018-08-16 16:00

（十六）Python爬虫基础库：requests

使用urllib有许多麻烦的地方，我们可以选择requests库模拟浏览器发送请求。首先我们需要额外安装requests库，使用命令：pip3installrequests。高度赞扬requests。GETurllib.request.urlopen()方法实际上就是发送GET请求，在requests中对应的方法就是get()。importrequestsresp=requests.get("ht
带翅膀的猫·2018-08-14 15:33

（十五）Python爬虫基础库：urllib

从今天起开始进入爬虫的世界。网络爬虫这种东西都了解能干嘛，我第一次知道时感觉特别棒，希望自己能写一个，不管功能强大与否。Python语言就是写爬虫的得力工具。我预计通过两篇博文来介绍一下Python基础库：urllib和requests(后者为重)。然后爬取豆瓣Top250电影信息。在Python2中实现发送请求的库有urllib和urllib2，到了Python3这两个库统一为了urllib。u
带翅膀的猫·2018-08-12 16:51

python爬虫基础（7：模拟登录）

有些网站需要先登录才能浏览一些信息，那我们面对这种情况要怎么爬取呢？也就是说如何使用爬虫模拟登录cookies概念网页都是使用http协议进行访问的，但http协议是无记忆的就是是它不会记得你是谁，所以需要有记忆信息的网站，比如需要登录的淘宝，就自动为每个用户创建了一个记忆功能的东西，这样的下次你再访问它，它就可以凭借这个东西认出你是谁这个记忆功能的东西，在服务器端是session，在客户端就是c
Jeeson_Z·2018-08-11 21:38

python爬虫基础（6：IP代理池）

除了上篇文章（https://blog.csdn.net/Jeeson_Z/article/details/81409730）提到的UA检测外反爬措施还有IP检测IP检测有些网站当检测到同一个IP连续快速访问时，可能会把这个IP拉黑，封锁掉爬虫的速度贼快，有极大的可能被网站封锁IP代理相当于一个中介你把请求给他，他帮你安排不同的IP访问，相当于是很多不同的IP在访问，从而避免被封锁这个中介按质量不
Jeeson_Z·2018-08-05 22:03

python爬虫基础之一（爬淘宝）

python爬虫基础之一（爬淘宝）没想到python如此强大，今天看一会视频学会了一段python爬虫这就是我今天学到的内容爬去淘宝网关于书包的一些信息，包括价格，#coding=utf-8importrequests
小小小丸子儿·2018-08-05 20:00

python爬虫基础（5：UA伪装）

前面的几篇我们了解了爬虫的大致过程源码下载+数据解析+数据保存对应粘贴了requests、BeautifulSoup、re的介绍连接、演示了利用pymysql模块连接并保存到MySQL的过程但在下载源码中会遇到各种问题，这次来讲最简单的反爬策略：UA禁止UA（User-Agent）是什么？User-Agent：翻译是用户代理，其实就是用户的身份当用浏览器随便访问一个网站时（chrome为例）通过开
Jeeson_Z·2018-08-04 18:48

Java网络爬虫基础知识

引言Java网络爬虫具有很好的扩展性可伸缩性，其是目前搜索引擎开发的重要组成部分。例如，著名的网络爬虫工具Nutch便是采用Java开发，该工具以ApacheHadoop数据结构为依托，提供了良好的批处理支持。Java网络爬虫涉及到Java的很多知识。本篇中将会介绍网络爬虫中需要了解的Java知识以及这些知识主要用于网络爬虫的哪一部分，具体包括以下内容：Maven的使用；log4j的使用；对象的创
fygu18·2018-08-01 19:00

python爬虫基础（4：数据保存）

保存数据的方式有很多，比如之前文章里用open()、write()保存到文本本篇将介绍保存到mysql数据库的方法准备工作建数据表、安装mysql的python驱动模块pymysql案例依旧选择前面文章（https://blog.csdn.net/jeeson_z/article/details/81281770）的豆瓣电影Top250连接数据库（创建一个连接对象）一句话搞定注意设置编码格式#导入
Jeeson_Z·2018-07-30 20:57

python爬虫基础（2：数据提取之BeautifulSoup）

数据提取工具有很多，这里只介绍BeautifulSoup的简单使用和小案例因为有写的很好的介绍博客，所以我直接粘链接BeautifulSoup介绍链接：https://cuiqingcai.com/1319.html案例依旧选用没有反爬的豆瓣电影Top250第一步：获取源码简单的三句话#导入requests模块importrequests#导入BeautifulSoup模块frombs4impor
Jeeson_Z·2018-07-30 10:27

数据工程师的成长之路

爬虫基础，这将来或许会成为一个数据工程师必备的技能。《python数据抓取技术与实战》是一
yeverwen·2018-07-28 09:29

python爬虫基础之AJAX页面的抓取

一、基于AJAX请求页面的爬取爬取网页：http://www.jy.whzbtb.com/V2PRTS通过抓包，我们不难发现这是一个AJAX请求，我们需要携带必要的参数才能获取每一页的页面内容，具体可以看下面的源码importurllib.requestimporturllib.errorimporturllib.parse"""一、添加header"""#1.1、以字典的形式设置headersd
爱爬虫·2018-07-24 17:40

使用python抓取App数据

下面我就介绍下自己的学习经验和一些方法吧本篇适合有过web爬虫基础的程序猿看没有的的话学的可能会吃力一些App接口爬取数据过程使用抓包工具手机使用代理，app所有请求通过抓包工具获得接口，分析接口反编译
爱python的王三金·2018-07-24 12:37

如何快速掌握Python数据采集与网络爬虫技术

通过本文的学习，可以快速掌握网络爬虫基础，结合实战练习，写出一些简单的爬虫项目。数十款阿里云产品限时折扣中，赶紧点击这里，领劵开始云上实践吧！
迷你芊宝宝·2018-07-23 15:35

python基础之爬虫基础理论

前言：在初步了解到正则表达式之后，今天我们学习一下关于爬虫的理论及最基本的爬去！1，http协议http超文本传输协议互联网上传输数据的一种规范1.特点支持的数据格式比较广泛，json/text/html/xml/data传输速度快无状态的协议，第一次请求与第二次请求没有关系2，http协议请求报文和响应报文请求报文：发请求时所携带的一种信息1),请求行（请求方式grt或post，www.baid
DonQuixote_·2018-07-19 20:25

python基础之爬虫基础理论

前言：在初步了解到正则表达式之后，今天我们学习一下关于爬虫的理论及最基本的爬去！1，http协议http超文本传输协议互联网上传输数据的一种规范1.特点支持的数据格式比较广泛，json/text/html/xml/data传输速度快无状态的协议，第一次请求与第二次请求没有关系2，http协议请求报文和响应报文请求报文：发请求时所携带的一种信息1),请求行（请求方式grt或post，www.baid
DonQuixote_·2018-07-19 20:25

一.爬虫:python网络爬虫基础(16讲.课堂笔记)

python网络爬虫基础1.HTTP简单了解1.1HTTP请求格式请求当浏览器向web服务器发出请求时,它向服务器传递了一个数据块,也就是请求信息,htt[请求信息由三部分组成:*请求方法url协议/版本
gzg----rxq·2018-07-17 00:01

Java 网络爬虫基础入门

作为网络爬虫的入门教程，本达人课采用Java开发语言，内容涵盖了网络爬虫的原理以及开发逻辑，Java网络爬虫基础知识，网络抓包介绍，jsoup的介
GitChat的博客·2018-07-13 04:00

爬虫基础库

ScreenShot2018-07-11at9.22.53AM.png概要介绍下requests和BeautifulSoup两个库的基本使用具体内容requestsrequests是一个模拟浏览器发送请求的库methods具体的http请求类型：GET对应requests.get()POST对应requests.post()url对应的http请求地址url='http://www.cnblogs
蜡笔小姜和畅畅·2018-07-11 16:49

python爬虫基础-处理复杂的登陆验证以及javascript动态加载数据-以登陆QQ空间为例

由于采集数据可能会造成信息泄露以及对占用服务器资源，因此很多网站都会设置很多反爬虫的机制来限制我们采集网站上的数据。很多时候我们很难在短时间破解这些反爬机制，这些反爬机制不会阻碍我们使用浏览器来浏览信息，因此我们可以使用python与浏览器软件交互的方式来采集数据。我们使用的工具selenium+chromedriver来调用本地的谷歌浏览器或者使用selenium+phantomjs。phant
smart_hang·2018-07-09 23:57

【python数据抓取技术与实战】爬虫基础

第一个爬虫应用该代码主要爬取电子工业出版社http://www.phei.com.cn首页的内容。#引入requests模块importrequests#定义get_content函数defget_content(url):resp=requests.get(url)returnresp.text#"__name__=='__main__'"的作用是被别的文件import时候，以下代码不会主动地执
yeverwen·2018-07-06 23:45

爬虫基础(上)

1.爬虫概要Django静态网页页面上的数据如果使用JS渲染就是动态网页(flask)否则就是静态网页(Django)区别:动态页面使用js渲染的右击在网页源码是没有数据的为什么要学习爬虫?拿数据爬虫的定义:模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序ps:只要是浏览器能做的事情,原则上,爬虫都能够做爬虫的更多用途:12306抢票,网站上的投票,短信轰炸aj
chilifox·2018-07-06 16:57

爬虫实战（一）猫眼电影基础数据爬取

看完爬虫基础，是不是有点心动手痒了呢？那么接下来就让我们一起学习如何爬虫吧。
yeverwen·2018-07-05 00:17

爬虫基础(beautifulSoup用法)

1,frombs4importBeautifulSoup2,请求头headers;headers={'User-Agent':'Mozilla/5.0(WindowsNT6.3;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/57.0.2987.110Safari/537.36','referer':"www.mmjpg.com"}解释:all_ur
coffeeteaone·2018-06-29 16:38

掌握Python爬虫基础，仅需1小时！

随着互联网的发展，google、百度等搜索引擎让我们获取信息愈加方便。但需求总会不断涌现，纯粹地借助百度等收集信息是远远不够的，因此编写爬虫爬取信息的重要性就越发凸显。比如有人为了炒股，专门爬取了多种股票信息；也有人为了分析房价，耗费时间和精力学习爬虫后，爬了绿中介的数据。那么，爬虫到底是什么呢？网络爬虫，又名网页蜘蛛，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。简单的说，网络爬虫就
数据与算法之美·2018-06-23 17:00

《Learning Scrapy》（中文版）第5章 快速构建爬虫

序言第1章Scrapy介绍第2章理解HTML和XPath第3章爬虫基础第4章从Scrapy到移动应用第5章快速构建爬虫第6章Scrapinghub部署第7章配置和管理第8章Scrapy编程第9章使用Pipeline
xiaotwins1·2018-06-19 20:43

《Learning Scrapy》（中文版）第4章 从Scrapy到移动应用

序言第1章Scrapy介绍第2章理解HTML和XPath第3章爬虫基础第4章从Scrapy到移动应用第5章快速构建爬虫第6章Scrapinghub部署第7章配置和管理第8章Scrapy编程第9章使用Pipeline
xiaotwins1·2018-06-19 19:48

《Learning Scrapy》（中文版）第3章 爬虫基础

序言第1章Scrapy介绍第2章理解HTML和XPath第3章爬虫基础第4章从Scrapy到移动应用第5章快速构建爬虫第6章Scrapinghub部署第7章配置和管理第8章Scrapy编程第9章使用Pipeline
xiaotwins1·2018-06-19 19:15

《Learning Scrapy》（中文版）第2章 理解HTML和XPath

序言第1章Scrapy介绍第2章理解HTML和XPath第3章爬虫基础第4章从Scrapy到移动应用第5章快速构建爬虫第6章Scrapinghub部署第7章配置和管理第8章Scrapy编程第9章使用Pipeline
xiaotwins1·2018-06-19 18:37

Python爬虫基础学习，从一个小案例来学习xpath匹配方法

学习目的是为了实践，而实践又可以加深我们的学习效率，今天给大家带来了lxml库的xpath匹配方法的实例！教程大家网上搜索有很多，我们只看实用功能，当然，如果您已经很熟练了，可以跳过不看的！开始前准备版本：python3.6工具：pycharm、lxml库（pip安装即可）内容：新浪新闻搜索关键字抓取相关信息并保存本地txt文档思路我们先打开网页url，看下它的页面数据是怎么加载的搜索世界杯，然后
Python玩家·2018-06-19 14:28

python爬虫基础--获取并解析网页

python爬虫基础–获取并解析网页python爬虫基础–获取并解析网页引入相关的包打开链接读取网页中的html文档BeautifulSoup对象常用的方法BeautifulSoup对象处理子标签处理同级别标签处理父标签引入相关的包
smart_hang·2018-06-12 22:52

Python爬虫基础-01-带有请求参数的爬虫

在上一篇文章Python爬虫入门中，Python爬虫程序爬取了指定网页的信息，爬虫发出的请求是一个固定的URL和部分请求信息，并没有请求参数，但是爬虫工作过程中发出的请求一般都需要加上请求参数，以完成对指定内容的爬取HTTP请求分为POST请求和GET请求，在Python爬虫中，这两种请求因其结构不同，所以添加请求参数的方式也不同，下面将分别介绍使用POST请求和GET请求的Python爬虫GET
CycloneKid-blogs·2018-06-06 19:23

python 爬虫基础知识，返回值为json数据的 爬虫原代码

importurllib.requestimporturllib.parseimportjsonimportreimportjsonpath'''接口https://rate.taobao.com/feedRateList.htm?auctionNumId=559141739630&userNumId=100340983¤tPageNum=3&pageSize=20'''items_l
dengfeng1638205133·2018-06-03 17:46

[简单的python爬虫实战] ，查询亚马逊产品的关键词排名 [日本站]

爬虫基础：先通过requests获取url，然后请求url，获得url响应的网页信息。在通过beauti
M_C_ing·2018-06-02 00:22

Java写网络爬虫基础篇（一）

最近项目中有涉及到爬虫功能，目前做的还比较基础的，主要是在前人的一些公用方法的基础之上，对一些正则表达式的运用，还未涉及到性能以及反爬虫机制，先记录下来，此篇主要是想记录一些通用的网页匹配的工具类，后面做得好了再写后续。爬虫：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。（该释义来自百度百科，应该还比
innerpeaceScorpio·2018-05-31 16:33

Hadoop综合大作业&补交4次作业：获取全部校园新闻，网络爬虫基础练习，中文词频统计，熟悉常用的Linux操作

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。（1）开启所有的服务，并创建文件夹wwc(2)查看目录下所有文件（3）把hdfs文件系统中文件夹里的文本文件load进去。（4）进入hive,并查看所有的表(5)创建表word,,写hiveQL命令统计（6）运行结果获取全部校园新闻1.取出一个新闻列表页的全部新闻包装成函数。2.获取总的新闻篇数，算出新闻总
Molemole·2018-05-25 19:00

Python_爬虫基础

爬虫概念数据获取的方式：企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然优势。有数据意识的中小型企业，也开始积累的数据。数据管理咨询公司政府/机构提供的公开数据第三方数据平台购买数据爬虫爬取数据什么是爬虫抓去网页数据的程序网页三大特征：每个网页都有自己的URL网页都使用HTML标记语言来描述页面信息网页都使用HTTP/HTTPS协议来传输HTML数据爬虫的设计思路确定需要爬取的
alogy·2018-05-23 00:00

17-天亮大数据系列教程之教学资源感恩大礼包

其中包括JavaSe核心基础、网络爬虫爬虫基础与实战项目教学、redis应用开发、大数据教程之hadoop、spark、hive以及多个大数据实战项目视频教程，自主开源的多个爬虫项目和中文分词器、情感分析器
周天亮·2018-05-17 23:32

爬虫基础——urllib库

#使用urllib#导入必要模块fromurllibimportrequest#如果需要URL转码fromurllibimportparseprint(parse.quote('范冰冰'))%E8%8C%83%E5%86%B0%E5%86%B0#urlopenurl='http://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=2013265
mid_python·2018-05-13 14:02

爬虫干货 | 爬虫IP代理模块介绍及实战

原创数据挖掘2018-05-07作者DataGod皮卡丘联合爬虫业界大牛FastGets整理一系列文章，介绍python爬虫基础知识、大牛多年反爬经验，有难度网站抓取实战、爬虫系统架构设计、安卓app
风噪·2018-05-09 09:39

爬虫基础：python获取网页内容

python3x下，我们可以通过一下两种方式获取网页内容获取地址：国家地理中文网url='http://www.ngchina.com.cn/travel/'urllib库1、导入库fromurllibimportrequest2、获取网页内容withrequest.urlopen(url)asfile:data=file.read()print(data)运行发现报错了：urllib.error
LOLITA0164·2018-05-03 11:01

爬虫基础：使用正则匹配获取网页中的指定内容

本文以爬取国家地理中文网中的旅行类中的图片为例，演示爬虫具备的基本功能。给定初始地址国家地理中文网:http://www.ngchina.com.cn/travel/获取并分析网页内容a、分析网页结构，确定想要的内容部分我们打开网页，右击选择《显示网页源代码》查看网页结构，下面是我截取的部分我们会发现，图片类型的数据都放在标签的scr=”“内，我们只要找出这些标签，从中提取我们想要的连接即可完成我
LOLITA0164·2018-05-02 19:01

爬虫基础之urllib的简单使用 - get 请求(一)

爬虫里面，我们不可避免的要用urllib中的urlopen()方法去请求或获取一个网页的内容,这里面的区别在于urlopen打开URL网址，url参数可以是一个字符串url或者是一个Request对象，返回的是http.client.HTTPResponse对象.http.client.HTTPResponse对象大概包括read()、readinto()、getheader()、getheade
小飞牛_666·2018-04-25 14:38

Python爬虫面试之“宜信”爬虫实习生

昨天下午接到HR小姐姐的面试通知，协商面试时间，当时在外面又加上考虑到给自己点准备的时间，于是就把时间定在第二天下午3点，一晚上的准备的时间感觉成果还是不错，从接到面试通知开始，自己熬了一个通宵，从爬虫基础
Jonny工作室·2018-04-20 18:37

网络爬虫基础流程

 1.发起请求通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的header等信息，等待服务器响应。如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能是HTML,Json字符串，二进制数据（图片或者视频）等类型。基于Urllib的Requests库：主要有：GET/POST两种类型常用，另外还有HEAD/PUT/
卓立8969·2018-04-19 09:38

Python 爬虫基础知识

1.技术选型一般采用scrapy+beautifulsoup或者是request+beautifulsoup1.1scrapy是一个框架，requests和beautifulsoup都是库，层级不同scrapy是一个框架可以加入requests和beautifulsoup的库scrapy基于twisted，性能卓越（异步的io框架）scrapy方便扩展，有着丰富的内置功能scrapy内置CSS和X
秋月笑三·2018-04-16 12:58
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他