全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
15789 5
2014-09-05
本人R语言新手,请多指教
最近遇到一个问题
有一个output.txt文件,内容如下
item     change        p
1             0.1         0.5
2             0.2        0.02
3             -0.1      0.1
4             0.2        0.4
………
这样的数据有1千万行,我只是展示了其中一部分
我现在要将最后一列的p值读到一个数组之中,然后用一个函数处理它。
我试了两个程序,发现读入速度极慢,只有c语言的万分之一,我觉得可能是自己编写的方法不对,我把程序展示一下,请大神指点
(1)
con<-file("output.txt","r")
line<-readLines(con,n=1)
line<-readLines(con,n=1)
ptemp<-c()
while(length(line)!=0)
{
valueo<-strsplit(line,"\t")  
value<-as.numeric(valueo[[1]][6])
   
ptemp<-c(ptemp,value)

line<-readLines(con,n=1)

}
close(con)
(2)
library(qvalue)
qtemp<-read.table("output.txt",header=T)
qtemp<-qtemp[,3]

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2014-9-5 15:50:35
复制代码
1千万行大概10秒
t=read.table("data.txt",colClasses =c("NULL","NULL","numeric"),skip=1)   #只读第三列
大概20秒
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-9-7 00:00:23
yywan0913 发表于 2014-9-5 15:50
1千万行大概10秒
t=read.table("data.txt",colClasses =c("NULL","NULL","numeric"),skip=1)   #只读第三列 ...
按照你的方法,成功读入了,用了1分钟,很快了,非常感谢!
我之前用程序的是R,很久都没反应,我这次用了R studio,就能读入了,看来好平台很重要。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-8-3 14:47:23
yywan0913 发表于 2014-9-5 15:50
1千万行大概10秒
t=read.table("data.txt",colClasses =c("NULL","NULL","numeric"),skip=1)   #只读第三列 ...
read.table(...skip=1)  skip属性是什么意思?谢谢
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-8-3 16:10:44
yywan0913 发表于 2014-9-5 15:50
1千万行大概10秒
t=read.table("data.txt",colClasses =c("NULL","NULL","numeric"),skip=1)   #只读第三列 ...
你好想问你个问题:
如果数据文件比较大,读取时间会比较慢,因此想只读取一部分数据,该怎么做呢?
用read.table可以实现吗?或者有什么按条件读取的语句?谢谢讲解一下

假设数据文件是这样的,只希望读取2014年的数据。
Date                  income              outcome
1900-01-01         10                      20
2012-07-02         30                       50
...

2014-12-31         70                           30
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-8-3 18:43:38
试试看用data.table的fread
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群