容器服务ASK我这边准备把spark 跑在k8s,但是没看到好的文档。有这方面的资料吗?[阿里云容器服务Kubernetes版]

容器服务ASK我这边准备把spark 跑在k8s,但是没看到好的文档。大佬有这方面的资料吗?

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
=====这是一个广告位,招租中,联系qq 78315851====
1 条回复 A 作者 M 管理员
  1. 可以跑容器https://blog.csdn.net/justlpf/article/details/128577422,此回答整理自钉群“Kubernetes社区大群”

  2. 阿里云容器服务Kubernetes版(简称ACK)提供了Spark任务的运行环境
    Zeppelin支持Spark的4种主流语言,包括Scala、PySpark、R和SQL。Zeppelin中所有语言在同一个Spark Application里,即共享一个SparkContext和SparkSession。例如,您在Scala里注册的table和UDF是可以被其他语言使用的。https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/spark-1?spm=a2c4g.11186623.0.i123#section-u91-f49-8y0

    配置Spark
    在阿里云EMR的数据开发里,Spark解释器配置的是Isolated Per Note模式,也就是说每个Note都有一个独立的Spark Application(每个Note对应一个Yarn App,Zeppelin里使用的是Yarn-Cluster模式)。对于每一个Spark Application,您可以在%spark.conf里配置所有Spark相关的配置选项,具体配置选项,请参见Spark Configuration。

    代码示例如下: