（6）详解 stata 爬虫抓取网页上的数据 part 2

接上篇：  详解stata爬虫抓取网页上的数据 part 1

本文do-file及相关文件 链接：https://pan.baidu.com/s/1smVkcUh 密码：40uq

下面开始抓取1000个网页的源代码，分别为temp1.txt—temp1000.txt保存在 e 盘 2 文件夹中，并再次使用 “合并.bat” 将1000个 txt 合并为一个文件 all.txt，先把命令放在这，下面逐一解释：

注意：第一行的 local 命令必须与下面两次循环一起 run，否则提示错误，原因下面解释。

抓取1000个网页源代码并合并

使用 local 命令生成一个临时变量 N = _N（注：在stata中 _n 与 _N 都是默认变量，有其固定含义，_N表示的是obsevations的个数，这里当然就等于 1000，_n则表示从1到1000，若要理解这两个，可以使用 gen N = _N，与 gen n = _n，然后browse查看 N 与 n 有何区别），但是 local 命令生成的变量 N 不会显示在变量窗口中，而是暂时存储在stata的内存中，需要的时候可以进行调用。下面举一个小小的例子演示 local 的作用（需要注意的是 local命令行与下一行调用local 生成的变量的命令必须一起运行，否则会提示出错，因为local 宏命令产生的变量只是临时的，一旦遇到end of do-file【观察stata主界面，每运行完一条命令都会提示end of do-file】便会将生成的临时变量删除，无法再次调用，详见下下图中官方给出的英文解释，已用蓝色部分标出，尤其是最后一句）：

local 命令演示，并对比 _n 与 _N 区别

关于 marco 宏的进一步解释，有兴趣的可以参见官方给的 help 文件中相关说明，如下：

marco 宏的官方解释

理解了local 之后再去看接下来的两次循环就容易得多，第二次循环是将 url 变量与 purl 变量（purl变量是之前的1000个链接）一一对应并储存起来，但不显示在变量窗口，而第三次循环则是调用 url 变量储存的1000个网址，并将这1000个网页的源代码 copy 下来，储存在e盘的 2 文件夹中，命名为temp1.txt—temp1000.txt，此一过程得看网速，大约耗时30分钟左右，像下图这样就看着数字变，最后到 temp1000.txt 就是完成了。之所以会提示not found是因为我们在抓取命令后附加了 replace 的 option，也就是告诉 stata 如果发现 e 盘 2 文件夹中有同名文件就将其替换掉，但是stata发现没有同名文件，于是它就提示 not found 并按要求生成新文件，若stata发现有同名文件，则不会有此提示，而是直接将其替换。

抓取1000个网页源代码过程

漫长的等待之后，最后再用我们之前在 part 1中用过的 bat 批处理命令调用dos将1000个 txt 合并为 all.txt（这次是在文件夹 2 中进行处理，与之前 all.txt 是不一样的哦）。至此就得到了1000个网页的源代码，这1000个网页源代码就很重要了，因为我们需要的GDP信息全部都包含在里面了。同理，我们用 infix 命令将其读进 stata 进行处理，命令见文初的图，因文本辆较大，读文本之前最好先clear一下，不然有可能会导致stata崩溃，写了半天的dofile要是没保存就不好了（具体原因不知道，推测可能是内存不够用？.？）。

---

---

文本读进去之后为一个变量 v，然后开始过滤，提纯工作，这也是最为繁杂的工作了，因为要从共 735748 行代码中提取出仅两个信息，一个是 “某某地区几几年”，一个是 “GDP”。根据我们需要的信息，我们去寻找包含这两个信息的关键行，观察其所在的行都有什么共同的特点，通过观察我们看到，地区名字所在的行都含有