静态网页抓取基础知识

2获取响应内容

import requests r = requests.get('http://www.santostang.com/') print ("文本编码:", r.encoding) print ("响应状态码:", r.status_code) print ("字符串方式的响应体:", r.text)

结果：

文本编码: UTF-8 响应状态码: 200 字符串方式的响应体: 唐松 Santos 唐松Santos 首页关于我爬虫书代码加我微信 EnglishSite 微信公众号 4.3 通过selenium 模拟浏览器抓取 07月15日未分类没有评论 4.3 通过selenium 模拟浏览器抓取在上述的例子中，使用Chrome“检查”功能找到源地址还十分容易。但是有一些网站非常复杂，例如前面的天猫产品评论，使用“检查”功能很难找到调用的网页地址。除此之外，有一些数据... 4.2 解析真实地址抓取 07月14日 Python 网络爬虫没有评论 ajax,python,网络爬虫,网页爬虫,解析地址由于网易云跟帖停止服务，现在已经在此处中更新了新写的第四章。请参照文章： 4.2 解析真实地址抓取虽然数据并没有出现在网页源代码中，我们也可以找到数据的真实地址，请求这个真实地址也可以获得想要的数据... 第四章- 动态网页抓取 (解析真实地址 + selenium) 07月14日 Python 网络爬虫没有评论 ajax,javascript,python,sselenium,网络爬虫由于网易云跟帖停止服务，现在已经在此处中更新了新写的第四章。请参照文章：前面爬取的网页均为静态网页，这样的网页在浏览器中展示的内容都在 HTML 源代码中。但是，由于主流网站都使用JavaScript 展现网页内... 《网络爬虫：从入门到实践》一书勘误 07月11日 Python 网络爬虫没有评论本书由于是第一版，因此还存在一些差错，希望各位读者谅解。另外，感谢各位读者的指正，现将本书的错误之处一并放在此处，方便其他读者更好阅读和使用此书。也欢迎大家在知乎私信或者留言给我，我会持续更新此... Hello world! 07月04日 Python 网络爬虫 1条评论 Welcome to WordPress. This is your first post. Edit or delete it, then start writing! 各位读者，由于网易云跟帖在本书出版后已经停止服务，书中的第四章已经无法使用。所以我将本书的评论系统换成了来必力... 文章分类未分类 (1) Python 网络爬虫 (4) 热门文章《网络爬虫：从入门到实践》一书勘误第四章- 动态网页抓取 (解析真实地址 + selenium) 4.2 解析真实地址抓取 4.3 通过selenium 模拟浏览器抓取随机推荐 4.2 解析真实地址抓取《网络爬虫：从入门到实践》一书勘误 4.3 通过selenium 模拟浏览器抓取第四章- 动态网页抓取 (解析真实地址 + selenium) Hello world! 标签云 ajax javascript python sselenium 网络爬虫网页爬虫解析地址友情链接 2018 唐松 Santos Powered by WordPress. Theme by JieStyle Two | 代码在页面底部，统计标识不会显示，但不影响统计效果

3.1 传递URL参数

import requests key_dict = {'key1': 'value1', 'key2': 'value2'} r = requests.get('http://httpbin.org/get', params=key_dict) print ("URL已经正确编码:", r.url) print ("字符串方式的响应体: \n", r.text)

结果：

URL已经正确编码: http://httpbin.org/get?key1=value1&key2=value2 字符串方式的响应体: { "args": { "key1": "value1", "key2": "value2" }, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Cache-Control": "max-age=259200", "Connection": "close", "Host": "httpbin.org", "User-Agent": "python-requests/2.14.2" }, "origin": "203.205.141.49", "url": "http://httpbin.org/get?key1=value1&key2=value2" }

3.2 定制请求头

import requests headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36', 'Host': 'www.santostang.com' } r = requests.get('http://www.santostang.com/', headers=headers) print ("响应状态码:", r.status_code)

响应状态码: 200

3.3 发送POST请求

import requests key_dict = {'key1': 'value1', 'key2': 'value2'} r = requests.post('http://httpbin.org/post', data=key_dict) print (r.text)

结果：

{ "args": {}, "data": "", "files": {}, "form": { "key1": "value1", "key2": "value2" }, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Cache-Control": "max-age=259200", "Connection": "close", "Content-Length": "23", "Content-Type": "application/x-www-form-urlencoded", "Host": "httpbin.org", "User-Agent": "python-requests/2.14.2" }, "json": null, "origin": "203.205.141.49", "url": "http://httpbin.org/post" }

静态网页抓取基础知识

1安装Requests

2获取响应内容

唐松Santos

4.3 通过selenium 模拟浏览器抓取

4.2 解析真实地址抓取

第四章- 动态网页抓取 (解析真实地址 + selenium)

《网络爬虫：从入门到实践》一书勘误

Hello world!

3定制Requests

3.1 传递URL参数

3.2 定制请求头

3.3 发送POST请求

3.4 超时

你可能感兴趣的:(Python网络爬虫,python,爬虫,前端)