求助：R语言写入（磁盘）速度很慢 - 经管之家

› 论坛 › 数据科学与人工智能 › 数据分析与数据科学 › R语言论坛

求助：R语言写入（磁盘）速度很慢

4004

7

收藏 2016-12-14

把数据写入到文档中（最好是.yaml,.txt,.log格式的文件）：
数据大小为：1209MB；
数据类型为：list，每一行都是长字符串（日志数据，例如：2016-11-08 17:24:11.430 10096 DEBUG oslo_concurrency.lockutils [-] Acquired semaphore "singleton_lock" lock /usr/lib/python2.7/site-packages/oslo_concurrency/lockutils.py:198
）
函数：write.table；写完总共需要时长：296.18s；
平均每秒钟写入（磁盘）4MB；

求助：有没有快一点的方法？

感谢！

附件列表

1481677430(1).jpg

原图尺寸 13.24 KB

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

2016-12-14 17:18:05

暂时找到解决方案：readr::write_lines
写入速度可达90MB/s

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-12-15 06:30:39

楼主厉害！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-12-31 22:37:37

试试data.table包

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2017-1-1 09:54:46

读写的，可以用feather包里的write_feather，速度会快一些。

读写问题，如果是固态硬盘的话，应该会快一些。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2017-1-6 09:52:23

jiangbeilu 发表于 2017-1-1 09:54
读写的，可以用feather包里的write_feather，速度会快一些。

读写问题，如果是固态硬盘的话，应该会快一 ...

感谢！
可是我看write_feather（x,path）中的x必须是data frame
我的数据是一个超大的list，元素都是比较长的文本字符串（日志文件，你懂的），我试了一下as.data.frame()转换格式，但是转换成data frame的时间很长

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

相关推荐

栏目导航

热门文章

推荐文章

扫码加好友，拉您进群

各岗位、行业、专业交流群