求教：如何分割一个很大的字符矢量？ - 经管之家

› 论坛 › 数据科学与人工智能 › 数据分析与数据科学 › R语言论坛

求教：如何分割一个很大的字符矢量？

2577

9

收藏 2016-01-06

有一个很大的字符矢量，约1000万个元素，其中第一个元素是“XXX”，以后大约每隔13个元素左右再出现一次“XXX”（间隔没有规律）。我想这个大矢量分割成许多小矢量，截取时要求是每个小矢量第一个元素为“XXX”，最后一个元素截止在下一个“XXX”之前。同时，想把这些小矢量保存在同一个list中。
“XXX”的位置很容易获取！id <- which(z=="XXX")
请问如何操作才能有效率？

先谢谢了！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

2016-1-6 14:25:44

复制代码

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-1-6 15:11:39

万人往LVR 发表于 2016-1-6 14:25

谢谢！
function(i)用法学习了！谢谢！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-1-6 16:06:51

复制代码

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-1-6 17:56:40

cheetahfly 发表于 2016-1-6 16:06

你好，我看了split的函数说明，但是没发现cumsum这个参数，可以告诉我参数说明在哪里吗？

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-1-6 18:18:47

万人往LVR 发表于 2016-1-6 17:56
你好，我看了split的函数说明，但是没发现cumsum这个参数，可以告诉我参数说明在哪里吗？

cumsum不是参数而是函数（cumulative sum）。
这里cumsum(z=="XXX")对应的split的参数是f，也就是用来确定分组（factor）的表达式。
简单的测试了一下，你的写法性能上是split的2倍以上，组数越多差距越大。当然了split胜在简洁

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2016-1-7 09:36:05

suimong 发表于 2016-1-6 18:18
cumsum不是参数而是函数（cumulative sum）。
这里cumsum(z=="XXX")对应的split的参数是f，也就是用来确 ...

谢谢！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-1-7 22:34:44

suimong 发表于 2016-1-6 18:18
cumsum不是参数而是函数（cumulative sum）。
这里cumsum(z=="XXX")对应的split的参数是f，也就是用来确 ...

首先要感谢万人往LVR，他代码中的lapply(1:length(pos),gfun)是我所不会的，且用起来很方便。
另外，我主要想讨论一下代码的效率问题，因为我测试的结果不太一样。
我在理顺了“万人往LVR”代码的逻辑之后，尝试按照他的逻辑稍微修改了一下，自我感觉可能更顺一些，（用两个向量一个代表分割项开始的位置，另一个代表结束的位置，没有必要另一个代表长度）如下：

复制代码

然后我模拟1000万个变量：

复制代码

以下是我测试的环境：
CPU：英特尔酷睿2双核E6750 @2.66GHz （买了快10年了）
OS：win7 32位
内存：4G
以下是测试结果：（先后顺序是：原“万人往LVR”的代码，我修改后的代码，split()函数）

可以看到split的效率是三者中相对比较高的。

我改变模拟z的方法，增加变量，减少子向量的数目

复制代码

再测试一遍：（顺序不变）

发现结果完全颠倒了，得出了与suimong同学相同的结论。
我没再进一步测试，但是否已经可以得出这样的结论：当要分割成的子向量数越多（分割次数越多）时，多行代码与split函数耗时均增加，但多行代码增加得更快；当要分割成的子向量数越少时，多行代码与split函数耗时均减少，但多行代码减少的速度也要快得多！

我这样的结论能否成立，请大神帮忙看看，谢谢！
（下面的图重复了，勿理，删不掉）

附件列表

原图尺寸 16.61 KB

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-1-8 12:23:52

cheetahfly 发表于 2016-1-7 22:34
首先要感谢万人往LVR，他代码中的lapply(1:length(pos),gfun)是我所不会的，且用起来很方便。
另外，我主 ...

谢谢你的回复，不然我还发现不了我测试里的问题~
重新写了一下：
先生成测试数据

复制代码

定义函数

复制代码

复制代码

测试

复制代码

测试的结果越来越有趣了：

图像 5.png

在组数为10万时，@万人往LVR的方法仍旧速度占优，但是当组数为100万时（这时候其实更接近原题主的实际情况，因为题主说XXX大概每隔13个出现一次），@万人往LVR的方法性能有大幅下降，但@cheetahfly的方法居然比10万组时更快！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-1-10 09:23:00

谢谢诸位了！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

相关推荐

栏目导航

热门文章

推荐文章

扫码加好友，拉您进群

各岗位、行业、专业交流群