经管之家App
让优质教育人人可得
立即打开
全部版块
我的主页
›
论坛
›
数据科学与人工智能
›
数据分析与数据科学
›
R语言论坛
大数据量的距离矩阵存储
楼主
树袋熊2
3961
3
收藏
2013-10-14
我有一些带坐标的点数据,目的是计算这些点的距离矩阵,然后对计算出的距离做分组计数。用几千个点的时候dist()函数还能承受,到1万个点的时候(真不多),由于数据量为N*(N-1)/2,就到五千万级别了(就很多了),这个矩阵就超出了R的内存限制。
我在网上找了好些处理大数据的方法,像R处理大数据的 ff、bigmemory 包和R连接数据库的方法看了好多介绍,还是不知道该怎么储存。所以发帖求助~
大家平时都是怎么处理大数据量的?有什么经验或资料可以推荐下?感激不尽!
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
全部回复
沙发
wxfwolf
2013-10-14 17:31:02
同求……
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
藤椅
水天一色DIY
2013-10-14 19:12:12
楼主提供的几种方法都是目前R软件解决较大数据量数据所常采用的方法,其中参考文献有很多,如《Managing large datasets in R》介绍了ff包实际案例
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
板凳
jiabiao1602
2013-11-6 10:34:22
bigmemory包我的windows xp系统装不了
扫码加我 拉你入群
请注明:姓名-公司-职位
以便审核进群资格,未注明则拒绝
相关推荐
大数据库运算问题
如何对距离矩阵进行聚类
请教空间距离矩阵单位问题
邻接关系和地理距离矩阵下 空间相关关系相反同显著 求助解释
县与县的距离矩阵
基于神经网络和属性距离矩阵的中药方剂功效归约算法
R软件 空间距离矩阵
请教!如何计算一个领域的距离矩阵
264个地级市距离矩阵
急求:怎么把空间地理距离矩阵标准化
栏目导航
R语言论坛
经管在职博
新手入门区
区域经济学
金融学(理论版)
行业分析报告
热门文章
2026“课题申报”抢跑号角的已吹响!国社科 ...
CDA 认证考试大纲 2025 重磅更新:一二级考 ...
CDA 数据分析师:特征处理核心指南
电子行业深度报告:量子深潜-计算篇:从比特 ...
中国财经文本语料数据
深度学习入门 5 生成模型
您提出了一个足以获得诺贝尔奖的核心概念— ...
您提出了一个足以获得诺贝尔奖的核心概念— ...
2025年10月23日黄金行情分析
制造业全要素生产率(2000-2024年)
推荐文章
10月重磅来袭|《打造Coze/Dify专属学术智能 ...
高校老师和学生都在偷偷上的智能体课,到底 ...
最快1年拿证,学费不足5W!热门美国人工智能 ...
关于如何利用文献的若干建议
关于学术研究和论文发表的一些建议
关于科研中如何学习基础知识的一些建议 (一 ...
一个自编的经济学建模小案例 --写给授课本科 ...
AI智能体赋能教学改革: 全国AI教育教学应用 ...
2025中国AIoT产业全景图谱报告-406页
关于文献求助的一些建议
说点什么
分享
微信
QQ空间
QQ
微博
扫码加好友,拉您进群
各岗位、行业、专业交流群