Python爬虫: 抓取One网页上的每日一话和图

2019独角兽企业重金招聘Python工程师标准>>>

先说下需求：

最近打算搜集点源数据，丰富下生活。嗯，最近看到One这个APP蛮好的。每天想你推送一张图和一段话。很喜欢，简单不复杂。而我想要把所有的句子都保存下来，又不想要每个页面都去手动查看。因此，就有了Python。之前有点Python基础，不过没有深入。现在也没有深入，用哪学哪吧。

（一）
一台MAC电脑

（二）Python环境搭建(所有命令都是在terminal中输入的)

• 安装homebrew：
  /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

• 安装pip：这里我在terminal中输入python -v,homebrew会自动帮你升级Python到2.7.11版本的。2.7.11版本里自带了pip工具。

• 安装virtualenv：
  pip install virtualenv

• 安装request和beautifulsoup4：
  pip install requests beautifulsoup4
  参考这里

（三）分析
目的：找出三个内容所在的网页标签的位置，然后将它们提取出来。
网址：http://wufazhuce.com/one/1293
谷歌浏览器，右键->显示网页源代码，然后就会弹出一堆HTML的东西了。这样的：

网页源文件

我想要的内容是这段话：“即使热恋者的情感是错觉、幻象或自恋行为，那又何妨，所谓人生就是一段不断追求情爱的路程。 by 森山大道”。它在图中画红线的地方。在标签里的中，之后会用到，先往下看。
图片的链接在哪里？显然不在中，往下找，然后就在中，发现2处和图片类似的链接。看图

 

图片链接地址

哪个链接是呢，点击去，发现后一个链接，也就是67行这个img标签的链接是。
然后，我还想知道哪一天的图和文字。嗯，在回到标签里，很明显有个
（四）python编码
想要抓取网页上的内容，又不想自己去解析HTML，只好求助万能的Google了。然后就找到了上面的链接。主要有两个工具：request加载网页，BeautifulSoup4解析HTML。

首先，抓取我们需要的哪三个内容：
进入python环境，然后敲入下面的代码：

import requestsimport bs4
response = requests.get('http://wufazhuce.com/one/1295')
soup = bs4.BeautifulSoup(response.text,"html.parser")

这样，就可以将网页信息存储到soup中了。你可以敲入print soup试试。

接下来，我们获得中的数字1271。怎么获得呢，beautifulsoup4教程，提供了很好的方法，可以通过tag查找得到title的内容，然后截取字符串。termianl中输入：

soup.title.string[3:7]

title是tag值，string是tag=title的字符串的值，也就是之间的值，因为只有一个