python爬虫系列实例-python爬虫实战之爬取京东商城实例教程
前言
本文主要介绍的是利用python爬取京东商城的方法，文中介绍的非常详细，下面话不多说了，来看看详细的介绍吧。
主要工具
scrapy
BeautifulSoup
requests
分析步骤
1、打开京东首页，输入裤子将会看到页面跳转到了这里，这就是我们要分析的起点
2、我们可以看到这个页面并不是完全的，当我们往下拉的时候将会看到图片在不停的加载，这就是ajax,但是当我们下拉到底的时候就会看到整个页面加载了60条裤子的信息，我们打开chrome的调试工具，查找页面元素时可以看到每条裤子的信息都在
这个标签中，如下图：
3、接着我们打开网页源码就会发现其实网页源码只有前30条的数据，后面30条的数据找不到，因此这里就会想到ajax，一种异步加载的方式，于是我们就要开始抓包了，我们打开chrome按F12，点击上面的NetWork,然后点击XHR,这个比较容易好找,下面开始抓包，如下图：
4、从上面可以找到请求的url，发现有很长的一大段，我们试着去掉一些看看可不可以打开，简化之后的url=https://search.jd.com/s_new.php?keyword=%E8%A3%A4%E5%AD%90&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&offset=3&wq=%E8%A3%A4%E5%AD%90&page={0}&s=26&scrolling=y&pos=30&show_items={1}
这里的showitems是裤子的id,page是翻页的，可以看出来我们只需要改动两处就可以打开不同的网页了，这里的page很好找，你会发现一个很好玩的事情，就是主网页的page是奇数，但是异步加载的网页中的page是偶数，因此这里只要填上偶数就可以了，但是填奇数也是可以访问的。这里的show_items就是id了，我们可以在页面的源码中找到，通过查找可以看到id在li标签的data-pid中，详情请看下图
上面我们知道怎样找参数了，现在就可以撸代码了
代码讲解
1、首先我们要获取网页的源码，这里我用的requests库，安装方法为pip install requests，代码如下:
1
2
3
4
def get_html(self):
res= requests.get(self.url, headers=self.headers)
html= res.text
return html#返回的源代码
2、根据上面的分析可以知道，第二步就是得到异步加载的url中的参数show_items,就是li标签中的data-pid,代码如下：
1
2
3
4
5
6
7
8
def get_pids(self):
html= self.get_html()
soup= BeautifulSoup(html,'lxml')#创建BeautifulSoup对象
lis= soup.find_all("li",class_='gl-item')#查找li标签
for liin lis:
data_pid= li.get("data-pid")#得到li标签下的data-pid
if (data_pid):
self.pids.add(data_pid)#这里的self.pids是一个集合，用于过滤重复的
3、下面就是获取前30张图片的url了，也就是主网页上的图片，其中一个问题是img标签的属性并不是一样的，也就是源码中的img中不都是src属性，一开始已经加载出来的图片就是src属性，但是没有加载出来的图片是data-lazy-img，因此在解析页面的时候要加上讨论。
代码如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
def get_src_imgs_data(self):
html= self.get_html()
soup= BeautifulSoup(html,'lxml')
divs= soup.find_all("div",class_='p-img')# 图片
# divs_prices = soup.find_all("div", class_='p-price') #价格
for divin divs:
img_1= div.find("img").get('data-lazy-img')# 得到没有加载出来的url
img_2= div.find("img").get("src")# 得到已经加载出来的url
if img_1:
print img_1
self.sql.save_img(img_1)
self.img_urls.add(img_1)
if img_2:
print img_2
self.sql.save_img(img_2)
self.img_urls.add(img_2)
前三十张图片找到了，现在开始找后三十张图片了，当然是要请求那个异步加载的url，前面已经把需要的参数给找到了，下面就好办了，直接贴代码：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
def get_extend_imgs_data(self):
# self.search_urls=self.search_urls+','.join(self.pids)
self.search_urls= self.search_urls.format(str(self.search_page),','.join(self.pids))#拼凑url,将获得的单数拼成url,其中show_items中的id是用','隔开的，因此要对集合中的每一个id分割，page就是偶数，这里直接用主网页的page加一就可以了
print self.search_urls
html= requests.get(self.search_urls, headers=self.headers).text#请求
soup= BeautifulSoup(html,'lxml')
div_search= soup.find_all("div",class_='p-img')#解析
for divin div_search:
img_3= div.find("img").get('data-lazy-img')#这里可以看到分开查找img属性了
img_4= div.find("img").get("src")
if img_3:#如果是data-lazy-img
print img_3
self.sql.save_img(img_3)#存储到数据库
self.img_urls.add(img_3)#用集合去重
if img_4:#如果是src属性
print img_4
self.sql.save_img(img_4)
self.img_urls.add(img_4)
4、通过上面就可以爬取了，但是还是要考虑速度的问题，这里我用了多线程，直接每一页面开启一个线程，速度还是可以的，感觉这个速度还是可以的，几分钟解决问题，总共爬取了100个网页,这里的存储方式是mysql数据库存储的，要用发哦MySQLdb这个库，详情自己百度。
当然也可以用mogodb，但是还没有学呢，想要的源码的朋友请看下面：
拓展总结
写到这里可以看到搜索首页的网址中keyword和wq都是你输入的词，如果你想要爬取更多的信息，可以将这两个词改成你想要搜索的词即可，直接将汉字写上，在请求的时候会自动帮你编码的，我也试过了，可以抓取源码的，如果你想要不断的抓取，可以将要搜索的词写上文件里，然后从文件中读取就可以了。以上只是一个普通的爬虫，并没有用到什么框架，接下来将会写scrapy框架爬取的，请继续关注服务器之家哦！！！
好了，以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者使用python能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对服务器之家的支持。
原文链接：http://chenjiabing666.github.io6