全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
4004 7
2016-12-14
把数据写入到文档中(最好是.yaml,.txt,.log格式的文件):
数据大小为:1209MB;
数据类型为:list,每一行都是长字符串(日志数据,例如:2016-11-08 17:24:11.430 10096 DEBUG oslo_concurrency.lockutils [-] Acquired semaphore "singleton_lock" lock /usr/lib/python2.7/site-packages/oslo_concurrency/lockutils.py:198

函数:write.table;写完总共需要时长:296.18s;
平均每秒钟写入(磁盘)4MB;

求助:有没有快一点的方法?

感谢!
附件列表
1481677430(1).jpg

原图尺寸 13.24 KB

1481677430(1).jpg

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2016-12-14 17:18:05
暂时找到解决方案:readr::write_lines
写入速度可达90MB/s
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-12-15 06:30:39
楼主厉害!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-12-31 22:37:37
试试data.table包
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2017-1-1 09:54:46
读写的,可以用feather包里的write_feather,速度会快一些。

读写问题,如果是固态硬盘的话,应该会快一些。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2017-1-6 09:52:23
jiangbeilu 发表于 2017-1-1 09:54
读写的,可以用feather包里的write_feather,速度会快一些。

读写问题,如果是固态硬盘的话,应该会快一 ...
感谢!
可是我看write_feather(x,path)中的x必须是data frame
我的数据是一个超大的list,元素都是比较长的文本字符串(日志文件,你懂的),我试了一下as.data.frame()转换格式,但是转换成data frame的时间很长
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群