全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
1018 5
2022-06-25
想请教一下论坛各位老师:我有几百个excel,每个excel存放着字段数量相等、排列顺序相同的数据,我现在想提取某个想要的字段。囿于我的能力,我想到的就是把所有数据全部读取合并,再进行编程提取,这个思路简单。但是数据量太大了,全部读进去,内存显然是不够。所以想请教一下论坛各位老师,有没有比较可行的办法。谢谢啦!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2022-6-26 15:10:01
可以边读取,边存为SQL数据库文件
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-26 20:45:49
如果文件名有规律(没规律的话,可以找个批量改文件名的软件,文件名都改成数字序号),且都是.xlsx:
可以做个循环,每一次用openxlsx::read.xlsx(xlsxfile,sheet,cols)函数读入指定文件的指定sheet的指定cols,然后将读入的数据合并到上一次循环结果中。
例如:
d<-read.xlsx("iris.xlsx",sheet=1,cols=2)

如果方便将文件批量改为.csv,也可以用sqldf::read.csv.sql()函数,用sql指令作为参数,读入指定文件的指定列,例如:
ris2 <- read.csv.sql("iris.csv", sql = "select `Sepal.Length` from file where `Sepal.Width` >3" )

这两种方法都不用读入整个文件,所以内存占用不会很大。

合并的话,看你需要,可选cbind,append,mutate这些函数。

这些是本办法。如果用MySQL可以更方便。




二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-27 10:07:08
谢谢楼上两位老师,我有空实践一下,感谢!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-7-29 13:07:00
require(tidyverse)
require(readxl) # require(openxlsx)
path <- 'D:/YourDataPath'
cid   <- 1  # your col ordered number
fls <- dir(file.path(path), pattern = 'xls')
reduce(map(fls, function(fl){ read_xls(fl)[, cid]}), cbind)
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-7-29 16:29:19
abelus 发表于 2022-7-29 13:07
require(tidyverse)
require(readxl) # require(openxlsx)
path
谢谢老师
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群