python 爬取_Python爬虫实战 ：批量采集股票数据，并保存到Excel中
小编说：通过本文，读者可以掌握分析网页的技巧、Python编写网络程序的方法、Excel的操作，以及正则表达式的使用。这些都是爬虫项目中必备的知识和技能。本文选自《Python带我起飞》。
实例描述：通过编写爬虫，将指定日期时段内的全部上市公司股票数据爬取下来，并按照股票代码保存到相应的Excel文件中。
这个案例主要分为两大步骤：
（1）要知道上市公司有哪些；
（2）根据每一个上市公司的股票编号爬取数据。
由于两部分代码相对比较独立，可以做成两个代码文件。一个文件用来爬取股票代码，另一个文件用来爬取股票内容。
1 爬取股票代码
爬取股票代码的基本思路是：
（1）分析网站上的网页源代码，找到目标代码。
（2）利用正则表达式，在整个网页里搜索目标代码，从而提取出所要的信息（股票代码）。
有关金融证券领域的网站一般都会有上市公司的股票代码信息。随便找一个即可。
1.1 找到目标网站
1.2 打开调试窗口，查看网页代码
保持当前浏览器窗口为活动页面，按F12键显示出网页的源代码调试窗口，单击调试窗口的Element按钮，可以看到页面的HTML代码。
图2 调试窗口
1.3 在网页源码中找到目标元素
网页的源代码是按照HTML的语法规则自动折叠的。可以用光标在HTML代码中任意单击将其展开。当光标移动到某个元素时，会看到右测网页中对应的元素会有变化，呈现被选中状态。
图3 选中元素
箭头所指的网页源代码，就是需要关注并爬取的内容。
1.4 分析目标源代码，找出规律
分析上图中左侧显示的内容，与右侧代码之间的对应关系。不难发现，左侧显示的每个股票代码所对应的源代码格式都是固定的。
图4 目标源代码内容
源代码内容，便是要找到的目标代码。将代码整理成如下字符串模版：
【代码1】
其中，“.html”前面的“股票代码”就是需要抓取的内容。分析到这里，开发任务就转化成：在整个网页的源码中，找到这样结构的字符串，并将其中的股票代码提取出来。
1.5 编写代码抓取股票代码
编写代码实现urlTolist函数，并在该函数里实现主要的抓取功能：
（1）通过使用urllib.request模块中的urlopen函数访问目的链接；
（2）通过urlopen返回值的read方法获得网页的全部内容；
（3）使用re模块下的compile函数来做正则表达式的计算模版，其模版字符串就是之前分析的网页目标代码；
（4）调用re.compile返回对象的findall方法，来对网页的HTML代码进行正则表达式计算。得到的返回值code便是最终的爬取结果。
代码1：爬取股票代码
【代码2】
在上面代码中，函数urlTolist的最后4行代码是为了让结果更加有效而做的数值验证。即，只有6（上海证交所）、0（深圳证交所）、3（创业板）打头的股票代码是有效代码。
在代码中，正则表达式的模版部分（代码中的第9行），有这么一段代码“\S\S(.*?)”。其中，两个“\S”表明每个股票代码的前两个都是字符，是要跳过的地方。后面的括号及里面的内容，表示需要让正则表达式来抓取的部分。（关于正则表达式，不在本书介绍的内容之内，有兴趣的读者可以自行研究。不了解也没关系，直接这么使用即可。）
1.6 运行代码，显示结果
代码运行后，显示如下内容
【代码3】
可以看到，爬取的结果是以list的方式存放的。前10条都是上海证交所的股票。
2 爬取股票内容
通过访问网易提供的服务接口，可以获取到股票内容。只需按照其提供的请求格式，传入股票代码及所要查看的时间段，即可得到该股票的具体数据。
为了爬取全部数据，需要遍历所有的股票代码，并调用网易的服务接口。
2.1 编写代码抓取批量内容
在代码实现上，仍然使用urllib.request模块进行网络请求，并将调用urllib.request模块下的urlretrieve函数，将返回的数据保存到Excel表里。代码如下：
代码11-2：爬取股票内容
【代码4】
代码中，设置的时间段为1个月，即从20161131到20161231。
保存的结果放在D盘的all_stock_data路径下。为了保证保存操作正常运行，需要确保D盘下存在all_stock_data文件夹（若没有，需要创建一个）。
2.2 运行代码显示结果
运行代码，输出如下结果：
【代码5】
代码运行结束之后，可以D盘的all_stock_data文件夹下找到生成的股票数据文件。
图5 股票数据文件
至此，爬取股票数据的案例就结束了。读者可以根据上面的知识，在网上爬取更多自己需要的内容。另外，爬取的结果还可以保存到MySQL或其他类型文件中。
以上内容取自电子工业出版社《python带我起飞——入门、进阶、实战》一书。