全部版块 我的主页
› 论坛 › 数据科学与人工智能 › 数据分析与数据科学 › R语言论坛
怎样高效率的对一个含有千万行数据的.csv文件进行随机抽样
leonan_
5254 9
2018-09-14
悬赏 10 个论坛币 已解决
最近遇到一个需求，需要在一个包含大量数据的.csv文件中随机抽样N条数据，由于我只是新人小白，看到R可以解决随机抽样问题，就研究了一些，但是当测试大数据文件比如3G左右的CSV文件时，效率并不是很高，甚至经常卡死。求教可以高效率处理此类问题的办法。
这是我的代码Demo
复制代码

求教有没有高效的方法函数可以使用呢？最好有详细的代码及注释！

最佳答案

铁锷未残 查看完整内容

尝试高性包，data.table.
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复
铁锷未残
2018-9-14 15:34:23
尝试高性包，data.table.
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

wtc#sofa
2018-9-14 15:48:14
统计行这一步是必须的么？
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

wtc#sofa
2018-9-14 15:50:04
是否可以用这种办法：找一列没有空行的数据，做计数（这个计数就是行数啊），数据范围不这么大只是一列的话会不会不会卡死？
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

leonan_
2018-9-14 15:54:29
wtc#sofa 发表于 2018-9-14 15:48
统计行这一步是必须的么？
统计这一行不是必须的，但是到这一行就卡住了
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

leonan_
2018-9-14 15:55:24
wtc#sofa 发表于 2018-9-14 15:50
是否可以用这种办法：找一列没有空行的数据，做计数（这个计数就是行数啊），数据范围不这么大只是一列的话 ...
其实主要的目的是抽样后输出文件，统计只是我加了为了测试
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

微信QQ空间QQ微博
扫码加好友，拉您进群
各岗位、行业、专业交流群