Spark 通用的性能配置方法:内存和CPU的配置

  • 时间:
  • 浏览:0
  • 来源:大发5分3DAPP下载_大发5分3DAPP官方

其中下面的参数全是和此次spark任务执行的性能相关。

提交Spark任务时时要提供如下的参数。

本文主要介绍关于通过配置Spark任务运行时的内存和CPU(Vcore)来提升Spark性能的辦法 。通过配置内存和CPU(Vcore)是比较基础、通用的辦法 。本文再次跳出的Demo以X-Pack Spark数据工作台为背景介绍,数据工作台的完整篇 介绍请参考:数据工作台。