全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
3010 10
2019-02-27
有48个txt文件,平均每个文件大小在500M左右,每个都是1千多万行,格式大概像这样:Chr     Start   End     L8N_Methy%      L8N_Met L8N_Unmet       L8N_Depth
chrX    10331   10331   0.00    0       3       3
chrX    10335   10335   100.00  3       0       3
chrX    10337   10337   100.00  3       0       3
chrX    10365   10365   100.00  3       0       3
我想把这48个文件合并起来,所用代码如下:

复制代码
由于最后的结果太大,总是出现memory错误,请问我该怎么办?先几个几个的合并吗?

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2019-2-27 14:29:47
写入一个SQL数据库,比如SQLite,然后用SQL语句合并。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2019-2-27 16:54:48
cheetahfly 发表于 2019-2-27 14:29
写入一个SQL数据库,比如SQLite,然后用SQL语句合并。
就是说不用R?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2019-2-27 17:19:33
规模过大的话用R处理数据不是很好
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2019-2-27 21:47:54
用Python是可以往本地写,然后追加操作的

cheetahfly版主说的,是导入到sql,比如mysql,sqlite等数据库,然后用union合并也可以
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2019-2-27 21:48:49
不二不幸福 发表于 2019-2-27 16:54
就是说不用R?
R读取的数据都放到内存里了,显示你没有24G的内存,无法放入0.5*48G的数据
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群