Stata: 如何快速合并 3500 个无规则命名的数据文件？

作者：连玉君 (知乎 | 简书 | 码云)

连享会：内生性问题及估计方法专题

Stata 现场培训报名中

• Stata连享会 精品专题 || 精彩推文
  

1. 问题背景：

• (1) 在 idata 文件夹下存放了 3500 个个股日交易资料的 .dta 数据文件。这些文件采用公司代码命名，因此，并不连续（参见 图 1）；
• (2) 任务：(a) 部分文件中的 turnover 变量是文字型变量，需要使用 destring 命令将其转换为数值变量；(b) 将这 3500 个数据文件纵向合并起来 (append)；
• (3) 使用 forvalues 语句无法奏效，因为文件名对应的数字不连续；

2. 解决思路：

• (1) 使用 foreach 语句对无规则的文件名进行循环处理；
• (2a) 难点： 如何提取文件名到一个暂元或变量中？
• (2b) 对策： 使用 dir 命令以及暂元的高级功能，将 dir 查询到的文件名存放到一个暂元 s中，随后在循环语句中从 s 暂元中提取文件名；
• (3) 关键命令： 提取特定文件夹下的所有文件的名称到一个暂元 s 中，可以使用如下语句(详情参见 help macro，以及 help extended_fcn)：

  local s: dir "D:\data\idata'"  files "*.dta",  respectcase

• 命令含义：

执行如下语句可以在屏幕上呈现暂元 s 中存放的内容，如 图 3 所示：

  local s: dir "D:\data\idata'"  files "*.dta",  respectcase
  dis `"`s'"'

3. 采用循环语句将 turnover 变量转换为数值变量

  global d "D:\data\idata"
  cd "$d"
  local s: dir "`d'"  files "*.dta",  respectcase
  foreach i  in `s' {
	use "`i'", clear
	dis in red "ID = `i'"  //可以不要，只是为了标示公司代码
	destring turnover, replace force  
	qui save "`i'", replace 
	dis "." _c                //屏幕打点，纯属娱乐
  }

4. 合并 3500 个数据文件

4.1 方法1：使用 foreach 语句

使用 append 命令可以合并纵向合并文件中的 3500 个文件，但有一个棘手的问题：使用 append 命令时，必须先将第一份数据调入内存，然后将剩余的 3499 份文件追加到这份文件的尾部。

然而，我们的数据文件名称是没有特定规则的，这就需要采用一种自动提取文件名的机制。此时，可以使用 gettoken 或 tokenize 命令对暂元 s 进行切割，其包含的第一个单词就是第一个文件的名称。这里以 gettoken 为例进行说明。

gettoken 的用法

  local a "Jack Rose Make Love"
  gettoken s1 s2: a, parse(" ")
  dis "`s1'"
  dis "`s2'"

结果如下：

.   dis "`s1'"
Jack

.   dis "`s2'"
 Rose Make Love

可见，gettoken 的作用是将暂元 a 的内容按照我们的要求以空格 (parse(" ") 的作用) 为切割点，分成两部分，第一空格之前的部分存入暂元 s1，剩余部分存入暂元 s2。

合并数据的命令

* 4.1 方法1：使用 foreach 语句
  local s: dir "$d"  files "*.dta",  respectcase
  gettoken f1 frest: s, parse(" ")
  dis "`f1'"        //第一个文件的名称
  dis `"`frest'"'   //其他文件的名称
  
  use "`f1'", clear
  foreach i of local frest {
    append using `i'
  }  
  save "D:\data\idata_all01.dta", replace //保存合并后的数据

4.2 方法2：使用外部命令 openall

若使用外部命令 openall，则上述繁杂的处理过程会简化成一条极其简洁的语句：

  cd "D:\data\idata"  // 将要合并该文件夹下的所有文件
  openall *           // 纵向合并当前工作路径下的所有文件
  save "D:\data\idata_all02.dta", replace //保存合并后的数据

可以使用如下命令安装外部命令 openall：

ssc install openall, replace

详细语法格式参见：help openall。

有兴趣的话，你可以对比一下上述两份最终文件是否有差异。

 

连享会计量方法专题……

 

关于我们

• 「Stata 连享会」 由中山大学连玉君老师团队创办，定期分享实证分析经验， 公众号：StataChina。
• 公众号推文同步发布于 CSDN 、简书 和 知乎Stata专栏。可在百度中搜索关键词 「Stata连享会」查看往期推文。
• 点击推文底部【阅读原文】可以查看推文中的链接并下载相关资料。
• 欢迎赐稿： 欢迎赐稿。录用稿件达 三篇 以上，即可 免费 获得一期 Stata 现场培训资格。
• E-mail： [email protected]
• 往期推文：计量专题 || 精品课程 || 简书推文 || 公众号合集

---

---