https://rd163.visword.com/tags/spark/Spark - 标签 - 研发日志 · R&D LogHugo -- gohugo.iozh-CNwhutluohui@gmail.com (小智晖)whutluohui@gmail.com (小智晖)本作品采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。Sun, 12 Jan 2025 00:00:00 +0800https://rd163.visword.com/posts/running-spark-on-k8s/Sun, 12 Jan 2025 00:00:00 +0800小智晖https://rd163.visword.com/posts/running-spark-on-k8s/<p>Apache Spark 自 2.3 版本开始提供对 Kubernetes 的原生支持,在 3.0 版本中正式 GA。把 Spark 跑在 K8s 上,可以利用容器的弹性伸缩和资源隔离能力,摆脱对 YARN 或独立集群管理器(Standalone)的依赖,让数据工程与现有云原生体系统一在一起。本文整理在 K8s 上运行 Spark 的两种主流方式、关键概念和落地要点。</p>