全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
434 2
2023-05-19
【背景】
之前遇到这个问题时,各种搜索都没有找到相同的情况。今天我在论坛中搜索了rbind() save也没有搜索到十分相关的帖子。

【具体问题】
我有两种类型的data.frame数据:
第一种类型中,单个数据的行数大约为9万行,将多个这样的数据合并后,可以正常地使用save()保存为新的Rdata;
第二种类型中,单个数据的行数大约为15万行,将多个这样的数据合并后,在使用save()保存为新的Rdata时,存在非常严重的问题,保存的新Rdata会达到几十个G的大小,当然,也需要超长的时间才能保存下来。

【非正规解决方案】
在导入第二种类型的数据时,先转换为矩阵,合并之后,再转为数据框,并添加列名称。
保存结果时间与大小均正常。

【补充说明】
数据为高速公路车辆检测器交通流数据,第一种类型数据的统计时间间隔为5min,第二种类型数据的统计时间为20sec。涉及协议,无法上传数据,请谅解。

【期望】
等大神指教,感谢。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2023-5-19 22:12:36
如果是每列数据都是同一类型,确实存为matrix会好一些。
另外,看看rbind之后,字段有没有发生什么变化。

理论上来说,一个数据15万行,十个数据也就150万行,RData是没太大问题的。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2023-5-20 09:43:27
abelus 发表于 2023-5-19 22:12
如果是每列数据都是同一类型,确实存为matrix会好一些。
另外,看看rbind之后,字段有没有发生什么变化。 ...
谢谢。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群