R读取6.8G的大文件txt中的部分列，求帮助！ - 经管之家

› 论坛 › 数据科学与人工智能 › 数据分析与数据科学 › R语言论坛

R读取6.8G的大文件txt中的部分列，求帮助！

6709

15

收藏 2016-07-14

R读取6.8G的大文件txt中的部分列，求帮助！

具体问题如下：

我想用R读取一个6个G的txt文件450K行X1700列，电脑内存12G，我用utraedit能打开，我复制了一部分行进行excel进行分析，我发现只需要矩阵中的1,2,--5,6,--9,10.........这样循环下去，我该怎么办？

谢谢各位大侠不吝相助！

想提取的列就是红框标记的列：

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

鱼籽酱牛肉酱

2016-7-14 19:15:25

data<-read.table("E:/data.txt", header=TRUE, sep= "\t",fill=TRUE)
data1<-metdata[c(-3,-4,-7,-8)]
write.table(data1,file="E:/data1.txt",sep="\t",row.names=FALSE,col.names=FALSE,quote=FALSE)
这样列名也变成V1V2方便一点

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-14 21:32:30

鱼籽酱牛肉酱发表于 2016-7-14 19:15
data

你没有看懂我的意思，一共1700多列，我需要循环读取！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-14 22:20:43

看看data.table包中的fread函数的select参数，应该能解决你的问题

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-15 10:12:27

或者先把数据写入dbms，再用sql语句select某些列

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-15 10:26:20

导进数据库吧，或者用ff包或者data.table的fread函数

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2016-7-15 11:35:28

数据用perl进行了选取，但是现在新的问题来了，要用R进一步分析，R直接读取不了，卡死了，用楼上几位说的data.table包进行加载，72.1%也卡死了，郁闷啊！内存8G+4G，看来还是不行！

求帮带！@zl66983279，@马甲1号，@bbslover

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-16 13:52:54

xjh_109 发表于 2016-7-14 18:54
R读取6.8G的大文件txt中的部分列，求帮助！

用Python结合R来解决吧

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-16 17:13:58

xjh_109 发表于 2016-7-15 11:35
数据用perl进行了选取，但是现在新的问题来了，要用R进一步分析，R直接读取不了，卡死了，用楼上几位说的da ...

不需要用perl选取啊，你按照bbslover说的，用data.table里的fread函数，用select参数进行列的选取，就可以了。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-16 19:21:09

128g内存路过，有服务器

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-16 21:11:31

sparkR will solve your problem even you have 4G memory

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-17 01:23:56

数据太大，可以先读取一定·行数·，一定·列数·。

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-17 06:31:49

xjh_109 发表于 2016-7-14 18:54
R读取6.8G的大文件txt中的部分列，求帮助！

一行一行读取，readLine函数

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-17 19:57:01

一种是先在本地建一个mysql，将txt存入mysql后利用RODBC包读取数据

另一种利用ff包的read.table.ffdf函数直接读入磁盘，再提取相应的列。具体见帮助文档https://cran.r-project.org/web/packages/ff/ff.pdf

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-18 17:53:40

非常感谢大家的解答，问题现在解决了，笨办法解决的，用perl进行选取相应的列之后文件变成3.2G左右，之后进行perl文件分割，分为四个文件，分别进行读取后进行分析！

大家建议的解决方法和我查到的基本差不多！但是主要是初步分析，电脑内存也不想在加了！

最后还是感谢各位！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

二表哥来救我

2019-11-4 11:06:56

鱼籽酱牛肉酱发表于 2016-7-14 19:15
data

用read.table函数读取较大文件会卡住

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

相关推荐

栏目导航

热门文章

推荐文章

扫码加好友，拉您进群

各岗位、行业、专业交流群