本实战项目是中国大学MOOC国家精品课程《Python网络爬虫与信息提取》(by 嵩天 北京理工大学)学习笔记。
目录
1.爬取目标
2.爬取链接
3.技术路线
4.全部代码及输出
5.总结
爬取京东某商品详情页面文本数据,不做解析(emmm,就爬下面这个页面的文本数据就成)
https://item.jd.com/10024680038271.html
主要使用工具包:requests
# 全代码
import requests
url ='https://item.jd.com/10024680038271.html'
try:
r= requests.get(url)
r.raise_for_status()
r.encoding= r.apparent_encoding
print(r.text[:1000])
except:
print('爬取失败')
注:
1) r.raise_for_status() # 如果状态不是200,引发HTTPError异常
2)r.encoding = r.apparent_encoding #备选编码格式(‘utf-8’)替换原始encoding模式('ISO-8859-1')
本例是最最基础的爬虫案例,核心是requests爬虫库get方法