python dataframe如何处理上亿数量级表 - python论坛 - 经管之家

› 论坛 › 数据科学与人工智能 › 数据分析与数据科学 › python论坛

python dataframe如何处理上亿数量级表

2118

3

收藏 2020-01-16

各位大神，我有一张9千万级的数据在HIVE SQL中做完了初步处理，现在需要到python中做加工，
但由于数据量太大了跑完cur.excute语句以后，一直自动崩溃，如何将HIVE SQL中的千万级数据放到python上呢？
跪谢！！！

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

2020-1-16 16:35:39

这么多数据，牛

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2020-1-16 16:36:12

我会python，没试过这么多数据

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2020-1-16 22:06:08

python应该可以直接写程序在HADOOP里执行，
SAS这方面也类似功能

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

相关推荐

栏目导航

热门文章

推荐文章

扫码加好友，拉您进群

各岗位、行业、专业交流群