全部版块 我的主页
› 论坛 › 数据科学与人工智能 › 数据分析与数据科学 › python论坛
python dataframe如何处理上亿数量级表
静电单位
2198 3
2020-01-16
各位大神，我有一张9千万级的数据在HIVE SQL中做完了初步处理，现在需要到python中做加工，
但由于数据量太大了跑完cur.excute语句以后，一直自动崩溃，如何将HIVE SQL中的千万级数据放到python上呢？
跪谢！！！
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复
juliewong
2020-1-16 16:35:39
这么多数据，牛
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

juliewong
2020-1-16 16:36:12
我会python，没试过这么多数据
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

hgz2373294
2020-1-16 22:06:08
python应该可以直接写程序在HADOOP里执行，
SAS这方面也类似功能
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

微信QQ空间QQ微博
扫码加好友，拉您进群
各岗位、行业、专业交流群