requests库+xpath+lxml简单使用
文章目录
- python的requests
-
- 安装
- 简单使用
-
-
-
- 1.简单访问一个url：
- 主要的点
- 2.带参数访问url
- 注意:一般用get方法就可以爬取一些比较简单容易的网站。
- 4.requests的一些常用方法和主要参数
- 5.requests.Response对象的属性说明
-
- xpath简介
-
-
- 概述
- 定位方法
-
- 1.绝对路径定位：
- 2.相对路径定位
- 3.索引号定位
- 4.属性定位
- 5.其它定位方法
-
- lxml简介
-
-
- 导入lxml 的 etree 库
- 简单使用
-
- 注意：
-
- 实例：爬取51.job的大数据职业信息的第一页【requests+xpath】
-
python的requests
它是python的一个第三方库，处理URL比urllib这个库要方便的多，并且功能也很丰富。
【可以先看4，5表格形式的说明，再看前面的】
安装
直接用pip安装，anconda是自带这个库的。
pip install requests
简单使用
requests的文档
1.简单访问一个url：
import requests
url='http://www.baidu.com'
res = requests.get(url)
res.text
res.status_code
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head> <body link=#0000cc> 
