spark常见问题
Easul Lv6
  2022-03-07 17:57:26 2022-03-07 17:57   2026-03-10 01:04:03      108 字  1 分钟

spark与scala的对应关系

scala与spark的对应关系

spark提交作业方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 使用yarn-client
/usr/local/spark/bin/spark-submit \
--class org.apache.spark.example.JavaSparkPi \
--master yarn-client \
--num-executors 1 \
--driver-memory 10m \
--executor-memory 10m \
--executor-cores 1 \
/usr/local/spark/lib/spark-examples-1.5.1-hadoop2.4.0.jar \

# 使用yarn-cluster
/usr/local/spark/bin/spark-submit \
--class org.apache.spark.example.JavaSparkPi \
--master yarn-cluster \
--num-executors 1 \
--driver-memory 10m \
--executor-memory 10m \
--executor-cores 1 \
/usr/local/spark/lib/spark-examples-1.5.1-hadoop2.4.0.jar \
  • 本文标题：spark常见问题
  • 本文作者：Easul
  • 创建时间：2022-03-07 17:57:26
  • 本文链接：article/tools/spark/some-questions/
  • 版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
 评论
  1. 1. spark与scala的对应关系
  2. 2. spark提交作业方式