qoiqpwqr 发表于 2018-5-4 20:08
用duplicated

cheetahfly 发表于 2018-5-4 20:45
dplyr::distinct()了解一下

不二不幸福 发表于 2018-5-4 21:17
谢谢，这个我拿部分数据试过了，行得通，就是不知道效率怎么样

不二不幸福 发表于 2018-5-4 21:09
我试过data[!duplicated(data$x), ]，没用啊

cheetahfly 发表于 2018-5-4 21:55
不超过1G的数据应该妥妥的没问题，如果超过10个G，就用data.table包：
dt

不二不幸福 发表于 2018-5-5 11:12
超过10G了，还是用read.table()读取数据吗？感觉读取数据就很费时间