spark的pythonAPI，用spark-submit运行和直接运行python文件 - 经管之家

› 论坛 › 数据科学与人工智能 › 大数据分析 › spark高速集群计算平台

spark的pythonAPI，用spark-submit运行和直接运行python文件

7094

3

收藏 2015-09-30

conf不是都配置完了。用submit有什么额外外功能
这有什么区别

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

2016-4-7 14:28:46

spark-submit 是在spark上运行吧

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

无量天尊Spark

2016-4-8 09:27:32

用户在程序中指定的参数的优先级 > 在 spark-submit 中提供的参数的优先级 > 在 spark-default.conf 中配置的参数的优先级

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2016-7-20 18:38:45

例如我的应用中import pandas等许多依赖包，我提交应用的spark-submit的时候怎么指定这些依赖包啊？

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

相关推荐

栏目导航

热门文章

推荐文章

扫码加好友，拉您进群

各岗位、行业、专业交流群