关于用foreach合并多个数据file的问题

10827

收藏 2014-05-14

我有12个所含变量和结构都相同的csv file，我想先把.csv转成.dta，然后合并所有的.dta为一个文件，我的coding 如下：
local data: dir "." files "*.csv"
foreach s of local data{
   clear
   insheet using `s',
   gen fileid=" `s' "
   save `s'.dta,replace

}
以上这部分没有问题，可以把所有.csv 转成.dta
以下这部分就不work了，
foreach v of local data{
      append using `v'.dta,force
}

save final.dta, replace

问题是：最后这个合并在一起的.dta并不是所有.dta合并的结果，而只是和第12个.dta文件完全相同
请高人指点，改了很多次，都无果

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

voodoo

2014-5-14 22:40:35

你假如是逐段执行程序的话，在执行第二段程序时，第一段程序中定义的local data的内容将丢失，也就是说此时local data为""。

试试：

复制代码

由于append命令接受多个文档，若你文件名中不包含空格，也可以试试：

复制代码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kerrydu

2014-5-14 23:03:36

问题在于后面的local没有定义

clear
local data: dir "." files "*.dta"
foreach v of local data{
append using `v'.dta,force
}

再试试

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

voodoo

2014-5-14 23:17:36

kerrydu 发表于 2014-5-14 23:03
问题在于后面的local没有定义

clear
local data: dir "." files "*.dta"

用local data: dir "." files "*.dta"可能存在以下可能很难发觉的潜在错误：
1. 由于此时循环体中的 append using `v'.dta, force中的文件名将包含.dta.dta双重后缀，append命令将报“file not found”的错误；
2. 即使在循环体中改为append using `v', force，也会面临如下问题：
* 若文件夹中还包含其他.dta文档（很可能），则local data中将包括这些文件，这会将其他dta文档也append进来；
** 即使目前文件夹中不包含其他.dta文档，若像楼主要求那样将append后的文档存为final.dta（即循环后save final.dta, replace），则之后再执行这个do文档，将会把final.dta也（重复）append进来。这就导致我们执行do文档后得到的结果有错，且不具reproducible。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kerrydu

2014-5-14 23:41:03

clear
local data: dir "." files "*csv.dta"
foreach v of local data{
append using `v',force
}

再试试

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

kerrydu

2014-5-14 23:42:09

save `s'.dta,replace。。。
文件的名后面应该是csv.dta

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

benbenbenben

2014-5-15 05:27:53

kerrydu 发表于 2014-5-14 23:42
save `s'.dta,replace。。。
文件的名后面应该是csv.dta

确实如此，csv 成了.dta文件名的一部分，请问，怎么可以把文件名中多余的csv去掉，看着很碍眼

谢谢

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

benbenbenben

2014-5-15 07:18:36

voodoo 发表于 2014-5-14 23:17
用local data: dir "." files "*.dta"可能存在以下可能很难发觉的潜在错误：
1. 由于此时循环体中的 app ...

讲解太到位了，非常感谢，我确实遇到了这个问题，在执行第一段的时候，要生成.dta文件，stata显示如下：
(67 vars, 379914 obs)
(note: file 文件名.csv.dta not found)
file 文件名.csv.dta saved

实际上在我的数据文件夹里已经把该.csv 转化成了.dta，但是为什么还显示file not found的错误呢；

我改了文件的名字成数字的形式，用了foreach num of numlist ....{
                                                            append using `num', force
                                                }

   虽然可行了，但是，还是会出现file not found，这样会影响到我最终合并的数据吗，粗略检查貌似没有但不知道是否有潜在的影响，如何消除这个问题，谢谢。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

benbenbenben

2014-5-15 07:24:07

voodoo 发表于 2014-5-14 22:40
你假如是逐段执行程序的话，在执行第二段程序时，第一段程序中定义的local data的内容将丢失，也就是说此 ...

谢谢！对这段程序些疑问：
1.起初是一次性执行的，没有分段执行，出现了上面的错误；那么在一次性执行的情况下，是否也是需要在第二段中定义local data，还是只在分段执行中，需要地第二段定义local data;

2.local data: dir "." files "*.csv" 是typo吗？应该是 local data: dir "." files "*.csv.dta"吗，还是这是另外的一种方式appending的.
clear
local data: dir "." files "*.csv"
foreach v of local data {
append using `v'.dta, force
}
save final.dta, replace

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

voodoo

2014-5-15 09:46:02

benbenbenben 发表于 2014-5-15 07:18
讲解太到位了，非常感谢，我确实遇到了这个问题，在执行第一段的时候，要生成.dta文件，stata显示如下：
(67 vars, 379914 obs)
(note: file 文件名.csv.dta not found)
file 文件名.csv.dta saved

这不是报错——因为你的save命令有replace选项，所以Stata反馈信息说：没有发现“文件名.csv.dta”，然后就帮你把数据集保存为“文件名.csv.dta”啦。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

voodoo

2014-5-15 09:53:59

给你一个没有中间dta文档输出的解决方案，不妨试试：

复制代码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

benbenbenben

2014-5-16 06:13:33

voodoo 发表于 2014-5-15 09:53
给你一个没有中间dta文档输出的解决方案，不妨试试：

It works! Many thx!

但是在合并的过程中，虽然每个file的变量和格式都相同，但是同一个变量在不同的file里的string长度不同，而且同一个变量在不同file里有的是string，有的是numerical, 本来想一个一个修改，可是变量和file实在是太多，请问这个问题如何在loop实现的合并中一并解决呢，还请大侠赐教！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

voodoo

2014-5-16 10:26:22

benbenbenben 发表于 2014-5-16 06:13
It works! Many thx!

但是在合并的过程中，虽然每个file的变量和格式都相同，但是同一个变量在不同的 ...

这依赖你的具体问题和数据情况。
1. string长度不同，这没关系，append时Stata会根据情况自动帮你增加string变量的长度；
2. 变量类型不同，首先要搞清楚，为什么相同的变量导入Stata后会出现不同的变量类型。搞清楚后，就可以在loop循环中具体情况加以处理啦。在insheet命令之后加上类似的变量类型转换语句可能有助于解决问题：
...
tostring _stkcd_, replace // _stkcd_为在不同文件中类型不同的变量名
...

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

benbenbenben

2014-5-16 11:09:05

voodoo 发表于 2014-5-16 10:26
这依赖你的具体问题和数据情况。
1. string长度不同，这没关系，append时Stata会根据情况自动帮你增加st ...

谢谢，我的目的是想把同一变量的string长度设置为所有文件中同一变量所存在的最大string长度；我的担心是，在append时，会按照最短的string长度截取，不同file中的同一变量，如果string长度大于最小的长度，会被自动截取。不会存在这个问题吗？

完全相同的变量和结构的多个文件，同样的方式导入，不知道为什么会出现不同的变量类型:( 而且无规律可循，变量60多个，绝大多数都存在这样的问题，_stkcd_ 这里有没有可以包含所有变量的coding，把所有变量都转化一遍，否则要列出所有的变量名，谢谢。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

voodoo

2014-5-16 11:20:07

benbenbenben 发表于 2014-5-16 11:09
谢谢，我的目的是想把同一变量的string长度设置为所有文件中同一变量所存在的最大string长度；我的担心是 ...

回答：
1. 不会。Stata够Smart，不会犯这种错误；
2. 你还是要搞清楚问题所在，而不能一味tostring。tostring后，很多后续统计分析就没法进行啦！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

benbenbenben

2014-5-16 11:34:33

voodoo 发表于 2014-5-16 11:20
回答：
1. 不会。Stata够Smart，不会犯这种错误；
2. 你还是要搞清楚问题所在，而不能一味tostring。to ...

Thank you sooooooo... much!

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

分享

扫码加好友，拉您进群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群