全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
2809 5
2016-11-22
本人小白,想要用R处理一个三维数据,但好像数据有点庞大,想问问有没有什么解决办法
数据是这样一个格式,表一表二通过ID(表一第一列,表二第一行)连接,表一一行有332列,表二有21803列,数据属于bool类型的定性数据
其实就是一个ID的两个方面的数据,现在想把这两个数据整合到一起,进行聚类。我只能想到说用3维矩阵,但表二数据量有些大,跑不起来,想问问各位大神有没有什么好的方法可以实现。
QQ图片20161122142213.png
表一

QQ图片20161122142401.png
表二
[img]file:///C:\Users\Administrator\AppData\Roaming\Tencent\Users\412370630\QQ\WinTemp\RichOle\2WW`8TBG@[O`27RC24YYZ)9.png[/img]


[img]file:///C:\Users\Administrator\AppData\Roaming\Tencent\Users\412370630\QQ\WinTemp\RichOle\2WW`8TBG@[O`27RC24YYZ)9.png[/img]



二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2016-11-22 22:46:39
这种事情最好是在数据库里完成。数据合并时R的内存消耗承受不起。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-11-23 15:55:51
nuomin 发表于 2016-11-22 22:46
这种事情最好是在数据库里完成。数据合并时R的内存消耗承受不起。
谢谢,我自己想了一个办法,因为我是需要聚类的,我就在两个矩阵中分别计算样本的距离,形成对称矩阵,再计算特征值,这样就只有两列的数据了,完全是我自己想的,不知道理论上行不行得通{:3_54:}
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-11-23 21:39:38
RecaidoJ 发表于 2016-11-23 15:55
谢谢,我自己想了一个办法,因为我是需要聚类的,我就在两个矩阵中分别计算样本的距离,形成对称矩阵,再 ...
老板说行就可以了。如果是发表文章的话还是用公式推导一下看看结果和正常方式计算的一致不?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-11-24 16:00:24
表2 列是观测 ,还是行是观测啊? 都是分类变量还好聚类,要是分类变量和数值变量混合的不好搞。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-11-28 10:27:43
qiu435 发表于 2016-11-24 16:00
表2 列是观测 ,还是行是观测啊? 都是分类变量还好聚类,要是分类变量和数值变量混合的不好搞。
列观测,因为有2万多行(定性变量),excel中不能显示,只能这样,导入R再转置了
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群