python爬虫入门

requests和bs4的python爬虫入门

现在就简单的讲下这几个月的学习成果嘛~~~爬虫其实爬的都是源代码，然后再通过对源代码进行过滤，得出我们想要的东西~有时会需要一些正则的东西~比如一些文本啊，图片的src啊，链接的href啊~~这里面有一些lazyload的图片，就需要seleniumwebdriver什么的了，这个还没研究到哈，勿喷勿喷。上面的答案也有提到过，用requests和bs4写爬虫真的是傻瓜爬虫系列。就是很容易了~~但是
杨小事er·2016-10-18 20:31

Python爬虫入门三

1.设置请求头我们继续以教务系统为例，下面来模拟一下，用Python登录教务系统，在入门二中分析了FromData中的数据，样子是这样的FromData-username:xxxxxx-password:xxxxxxx-login:%B5%C7%A1%A1%C2%BC那我们就在请求的时候将数据值传过去代码如下importurllib2importurllibloginUrl='http://bkj
周周_ZHANG·2016-10-08 20:39

python爬虫入门-urllib的基本用法

urllib的基本用法以及一些参数的设置importurllibimporturllib2url='http://www.xxx.com/login'user_agent='Mozilla/4.0(compatible;MSIE5.5;WindowsNT)'values={'username':'xxx','password':'xxx'}headers={'User_Agent':'user_a
moxiaojie00·2016-08-25 21:50

零基础如何学爬虫技术？

路人甲，教你如何编程190人赞同第一：Python爬虫学习系列教程（来源于某博主：http://cuiqingcai.com/1052.html）Python版本：2.7整体目录：一、爬虫入门1.Python
garfielder007·2016-07-09 15:04

python爬虫入门笔记：用scrapy爬豆瓣

本文希望达到以下目标:简要介绍Scarpy使用Scarpy抓取豆瓣电影我们正式讲scrapy框架爬虫，并用豆瓣来试试手，url:http://movie.douban.com/top250首先先要回答一个问题。问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目(Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页
flyingfishmark·2016-05-04 16:06

Python3爬虫入门之贴吧图片批量获取

因为百度贴吧的网页结构较为简单，且无需登录即可读取帖子内容，所以批量获取贴吧图片非常适合用来作为Python爬虫入门的练手项目。
NiliushaNLS·2016-05-03 16:00

python爬虫入门笔记：XPath与lxml库

lxml库是一个比较流行的解析库，使用的是XPath语法，效率比较高的解析方法。主要学习资料是极客学院的定向爬虫、w3school。XPath简介：XPath是一门在XML文档中查找信息的语言。XPath用于在XML文档中通过元素和属性进行导航。简单说，xpath就是选择XML文件中节点的方法。所谓节点（node），就是XML文件的最小构成单位，一共分成7种。-element（元素节点）-attr
flyingfishmark·2016-04-28 10:40

python爬虫入门笔记：Requests库

PythonRequests快速入门快速上手迫不及待了吗？本页内容为如何入门Requests提供了很好的指引。其假设你已经安装了Requests。如果还没有，去安装一节看看吧。首先，确认一下：Requests已安装Requests是最新的让我们从一些简单的示例开始吧。发送请求使用Requests发送网络请求非常简单。一开始要导入Requests模块:>>>importrequests然后，尝试获取
flyingfishmark·2016-04-27 16:01

Python爬虫入门笔记：urllib库的使用

上次我们说到网页下载是爬虫的重要部分，并提到几种实用的下载器模块，今天我们先说urlib库的使用，这个是Python官方基础模块，具体相关细节知识，大家可以自行去了解，这里我们只说主要的使用方法：1、直接访问importurllib2url='http://www.baidu.com'#直接请求response=urllib2.urlopen(url)#获取状态码，如果是200表示成功printr
flyingfishmark·2016-04-22 17:39

Python爬虫入门笔记：一个简单的爬虫架构

上次我们从对爬虫进行简单的介绍，今天我们引入一个简单爬虫的技术架构，解释爬虫技术架构中的几个模块，对爬虫先有一个整体的认知，方便对爬虫的理解和后面的编程。简单的爬虫架构：URL管理、网页下载、网页解析、输出部分，如下图：1、URL管理器：防止重复抓取、防止循环抓取；URL是爬虫爬取的入口和桥梁，除了入口URL外，剩下的URL我们需要在网页上获取并统一管理，防止重复抓取和防止循环抓取。2、网页下载器
flyingfishmark·2016-04-22 15:16

Python爬虫入门笔记:爬虫简介

爬虫技术是用来从互联网上自动获取需要的数据。今天我们对爬虫进行简单的介绍：1、什么是爬虫？爬虫是一段自动抓取互联网信息的程序，大家可以理解为在互联网这张网上爬来爬去的蜘蛛，如果它遇到资源，那么它就会抓取下来。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据，爬虫就是通过这些通道爬取数据。2、浏览网页的过程在用户浏览网页的过程中，我们可
flyingfishmark·2016-04-22 10:18

Python爬虫入门笔记（序）

近期迷恋上了Python,不外乎“人生短暂，我用Python"。Python简洁，优雅，易懂。大数据分析的前期自然也是少不了数据收集的，做一些爬虫爬取数据是少不了的。主要学习资料：两网站慕课网和极客学院，两博客园崔庆才和廖雪峰。编程工具从Notepad到EclipseforPython再到Pycharm,衷心推荐Pycharm,功能强大，安装简单！学习Python爬虫主要有以下知识点：1、Pyth
flyingfishmark·2016-04-21 08:17

python爬虫入门实践

这是一个链接，现在我想按我的需求（中文关键词），从这个网页把我需要的相关信息搞下来。howtodo？justdofollowingme.使用pyQT布局界面，生成test.py如下，详情可参考。这个链接#-*-coding:utf-8-*- #Formimplementationgeneratedfromreadinguifile'test.ui' # #Createdby:PyQt4UIcod
lusongno1·2016-04-14 09:00

Python爬虫学习系列教程

Python爬虫入门一之综述2. Python爬虫入门二之爬虫基础了解3. Python爬虫入门三之Urlli
pql925·2016-04-11 19:00

ch6.正则表达式

Python爬虫入门（7）：正则表达式http://python.jobbole.com/81346/Python爬虫入门（1）：综述Python爬虫入门（2）：爬虫基础了解Python爬虫入门（3）：
sherri_du·2016-03-06 21:00

Python爬虫学习系列教程

Python爬虫入门一之综述2. Python爬虫入门二之爬虫基础了解3. Python爬虫入门三之Urllib库的基本使用4. Python爬虫入门四之Urllib库的高级用法5. 
xiejunbo·2016-02-16 17:00

Python爬虫实战（3）：计算大学本学期绩点

Python爬虫入门（1）：综述Python爬虫入门（2）：爬虫基础了解Python爬虫入门（3）：Urllib库的基本使用Python爬虫入门（4）：Urllib库的高级用法Python爬虫入门（5）
GarfieldEr007·2016-01-24 19:00

python[四]：python爬虫入门

我在初学的时候是利用Beautifulsoup和正则表达式，配合python，来爬取分析网页，在这过程中学到了很多首先推荐个博客吧，虫师的，挺不错的博客地址：http://www.cnblogs.com/fnng/Windows平台安装BeautifulSoup安装方法地址http://kevinkelly.blog.163.com/blog/static/21390809320133185748
Love-Bug-Life·2016-01-21 20:23

自学Python四 爬虫基础知识储备

首先，推荐两个关于python爬虫不错的博客：Python爬虫入门教程专栏  和Python爬虫学习系列教程 。写的都非常不错，我学习到了很多东西！在此，我就我看到的学到的进行总结一下！
我的代码会飞·2016-01-14 17:00

Python爬虫入门八之Beautiful Soup的用法

 转载自： http://cuiqingcai.com/1319.html上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫BeautifulSoup，有了它我们可以很方便地提取出HTML或XML标签中的内容，实在是方便，这一节就让我们一起来感受一下Be
hongtoushizi·2016-01-07 12:00

Python爬虫入门七之正则表达式

转载自： http://cuiqingcai.com/977.html在前面我们已经搞定了怎样获取页面的内容，不过还差一步，这么多杂乱的代码夹杂文字我们怎样把它提取出来整理呢？下面就开始介绍一个十分强大的工具，正则表达式！1.了解正则表达式正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过
hongtoushizi·2016-01-07 12:00

Python爬虫入门六之Cookie的使用

转载自： http://cuiqingcai.com/968.html 大家好哈，上一节我们研究了一下爬虫的异常处理问题，那么接下来我们一起来看一下Cookie的使用。为什么要使用Cookie呢？Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可
hongtoushizi·2016-01-07 12:00

Python爬虫入门五之URLError异常处理

转载自： http://cuiqingcai.com/961.html 大家好，本节在这里主要说的是URLError还有HTTPError，以及对它们的一些处理。1.URLError首先解释下URLError可能产生的原因：网络无连接，即本机无法上网连接不到特定的服务器服务器不存在在代码中，我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子，先感受下它的风骚 1234567i
hongtoushizi·2016-01-06 02:00

Python爬虫入门四之Urllib库的高级用法

转载自： http://cuiqingcai.com/954.html   1.设置Headers有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作，我们需要设置一些Headers的属性。首先，打开我们的浏览器，调试浏览器F12，我用的是Chrome，打开网络监听，示意如下，比如知乎，点登录之后，我们会发现登陆之后界面都变化了，出现一个
hongtoushizi·2016-01-06 02:00

Python爬虫入门三之Urllib库的基本使用

 转载自： http://cuiqingcai.com/947.html 那么接下来，小伙伴们就一起和我真正迈向我们的爬虫之路吧。1.分分钟扒一个网页下来怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS
hongtoushizi·2016-01-06 02:00

Python爬虫入门二之爬虫基础了解

转载： http://cuiqingcai.com/942.html 1.什么是爬虫爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起
hongtoushizi·2016-01-06 02:00

Python爬虫入门一之综述

转载自： http://cuiqingcai.com/927.html 大家好哈，最近博主在学习Python，学习期间也遇到一些问题，获得了一些经验，在此将自己的学习系统地整理下来，如果大家有兴趣学习爬虫的话，可以将这些文章作为参考，也欢迎大家一共分享学习经验。Python版本:2.7，Python3请另寻其他博文。首先爬虫是什么？网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常
hongtoushizi·2016-01-06 02:00

Python爬虫学习系列教程

一、Python入门1.Python爬虫入门一之综述2.Python爬虫入门二之爬虫基础了解3.Python爬虫入门三之Urllib库的基本使用4.Py
angelahhj·2015-12-24 20:30

Beautiful Soup的用法

Python爬虫入门八之BeautifulSoup的用法|静觅http://cuiqingcai.com/1319.html
dfkjih·2015-12-21 17:00

Python爬虫入门案例：获取百词斩已学单词列表

百词斩是一款很不错的单词记忆APP，在学习过程中，它会记录你所学的每个单词及你答错的次数，通过此列表可以很方便地找到自己在记忆哪些单词时总是反复出错记不住。我们来用Python来爬取这些信息，同时学习Python爬虫基础。首先来到百词斩网站：http://www.baicizhan.com/login这个网站是需要登录的，不过还好没验证码，我们可以先看下在登录过程中浏览器POST了哪些数据。打开浏
文剑木然·2015-12-16 00:00

Python爬虫入门【未完】

python语言基础不谈，有其他语言基础的话花上几十分钟就能对python的基本语法有个了解。 使用urlib2库来扒一个网页importurllib2 url="https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn" request=urllib2.Request(url) response=
柿沼·2015-12-12 13:00

Python爬虫入门七之正则表达式

   在前面我们已经搞定了怎样获取页面的内容，不过还差一步，这么多杂乱的代码夹杂文字我们怎样把它提取出来整理呢？下面就开始介绍一个十分强大的工具，正则表达式！1.了解正则表达式   正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。   正则表达式是用来匹配字符串非常强大的工具
Sunshine_in_Moon·2015-12-05 17:00

Python爬虫入门六之Cookie的使用

本文转自：http://cuiqingcai.com/968.html转自：静觅»Python爬虫入门六之Cookie的使用   大家好哈，上一节我们研究了一下爬虫的异常处理问题，那么接下来我们一起来看一下
Sunshine_in_Moon·2015-12-05 17:00

Python爬虫入门五之URLError异常处理

本文转自：http://cuiqingcai.com/961.html转自：静觅»Python爬虫入门五之URLError异常处理大家好，本节在这里主要说的是URLError还有HTTPError，
Sunshine_in_Moon·2015-12-05 16:00

Python爬虫入门四之Urllib库的高级用法

本文转自：http://cuiqingcai.com/954.html转自：静觅»Python爬虫入门四之Urllib库的高级用法1.设置Headers   有些网站不会同意程序直接用上面的方式进行访问
Sunshine_in_Moon·2015-12-05 16:00

Python爬虫入门三之Urllib库的基本使用

本文转自：http://cuiqingcai.com/947.html转自：静觅»Python爬虫入门三之Urllib库的基本使用1.分分钟扒一个网页下来怎样扒网页呢？
Sunshine_in_Moon·2015-12-05 16:00

Python爬虫入门二之爬虫基础了解

本文转自：http://cuiqingcai.com/942.html 转自：静觅»Python爬虫入门二之爬虫基础了解1.什么是爬虫爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网
Sunshine_in_Moon·2015-12-05 15:00

Python爬虫入门一之综述

本文转自：http://www.cnblogs.com/xin-xin/p/4297852.html转自：静觅»Python爬虫入门一之综述Python版本:2.7，Python3请另寻其他博文。
Sunshine_in_Moon·2015-12-05 15:00

【知识】beautifulsoup的使用方法

参考地址：Python爬虫入门之BeautifulSoup【beautifulsoup是用来做什么的】首先，我们回顾一下beautifulsoup的作用。
AKAK714·2015-12-01 16:26

python正则表达式

Python爬虫入门：正则表达式1.了解正则表达式正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑
qq_28711703·2015-11-04 23:00

Python_爬虫4

Python爬虫入门（8）：Beautiful Soup的用法   上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表
·2015-10-30 11:23

Python爬虫入门一之综述

    现在，我们已经进入到大数据时代，在对数据进行处理分析时，首要的是需要有数据，而作为数据的一个重要来源则来自于网络爬虫，鉴于Python语言的简洁高效，以及对爬虫技术的大力支持，我们选择利用Python作为主要编程语言。Python版本为2.7.    本文主要内容转自：http://cuiqingcai.com/category/technique/python，博主介绍的非常详细，所以在
东方神剑·2015-08-03 16:00

Python爬虫入门一之综述

大家好哈，最近博主在学习Python，学习期间也遇到一些问题，获得了一些经验，在此将自己的学习系统地整理下来，如果大家有兴趣学习爬虫的话，可以将这些文章作为参考，也欢迎大家一共分享学习经验。 Python版本:2.7，Python 3请另寻其他博文。 首先爬虫是什么？ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取
·2015-06-04 09:00

Python爬虫入门一之综述

大家好哈，最近博主在学习Python，学习期间也遇到一些问题，获得了一些经验，在此将自己的学习系统地整理下来，如果大家有兴趣学习爬虫的话，可以将这些文章作为参考，也欢迎大家一共分享学习经验。Python版本:2.7，Python3请另寻其他博文。首先爬虫是什么？网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者
qnoericdai·2015-05-06 16:06

Python爬虫入门三之Urllib库的基本使用

 转自http://cuiqingcai.com/947.html1.分分钟扒一个网页下来怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我们就写
心_心·2015-02-25 01:00

《Python爬虫学习系列教程》学习笔记

Python爬虫入门一之综述2. Python爬虫入门二之爬虫基
心_心·2015-02-23 02:00

使用Python计算研究生学分绩(绩点)

最近看了CSDN上一个专栏《Python爬虫入门教程》，其中最后一篇作者写了个例子，用爬虫计算山东大学绩点，顿时想到前一阵子搞测评的时候还得拿计算器一点点算自己的平均学分绩，也想写一个自己学校的计算学分绩的爬虫
·2013-11-06 11:00
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他