在 YARN 上執行 Spark

• 安全性
• 在 YARN 上啟動 Spark
  • 新增其他 JAR
• 準備工作
• 設定
• 偵錯您的應用程式
  • Spark 屬性
  • SHS 自訂執行器記錄網址可用的模式
• 資源配置和設定概觀
• 階段層級排程概觀
• 重要注意事項
• Kerberos
  • YARN 特定的 Kerberos 設定
  • Kerberos 疑難排解
• 設定外部 Shuffle 服務
• 使用 Apache Oozie 啟動應用程式
• 使用 Spark 歷史記錄伺服器取代 Spark 網頁使用者介面
• 執行多個版本的 Spark Shuffle 服務

支援在 YARN (Hadoop NextGen) 上執行已新增至 Spark 0.6.0 版，並在後續版本中進行改善。

安全性

預設情況下，並未啟用身分驗證等安全性功能。在部署開放給網際網路或不受信任網路的叢集時，保護叢集存取權非常重要，以防止未經授權的應用程式在叢集上執行。在執行 Spark 之前，請參閱 Spark 安全性 和此文件中的特定安全性部分。

在 YARN 上啟動 Spark

確保 HADOOP_CONF_DIR 或 YARN_CONF_DIR 指向包含 Hadoop 叢集（用戶端）設定檔的目錄。這些設定檔用於寫入 HDFS 和連線至 YARN ResourceManager。此目錄中包含的設定檔將會分發至 YARN 叢集，以便應用程式使用的所有容器都使用相同的設定檔。如果設定檔參照 YARN 未管理的 Java 系統屬性或環境變數，也應在 Spark 應用程式的設定檔中設定這些屬性或變數（在用戶端模式下執行時，包括驅動程式、執行器和 AM）。

有兩種部署模式可用於在 YARN 上啟動 Spark 應用程式。在 cluster 模式中，Spark 驅動程式在 YARN 在叢集上管理的應用程式主控端程序中執行，而用戶端可以在啟動應用程式後離開。在 client 模式中，驅動程式在用戶端程序中執行，而應用程式主控端程序僅用於向 YARN 要求資源。

與 Spark 支援的其他叢集管理員不同（這些管理員在 --master 參數中指定主控端的位址），在 YARN 模式中，ResourceManager 的位址會從 Hadoop 設定檔中取得。因此，--master 參數為 yarn。

在 cluster 模式中啟動 Spark 應用程式

$ ./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [options] <app jar> [app options]

例如

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    examples/jars/spark-examples*.jar \
    10

上述範例會啟動 YARN 用戶端程式，該程式會啟動預設的應用程式主控端程序。然後，SparkPi 將作為應用程式主控端程序的子執行緒執行。用戶端會定期輪詢應用程式主控端程序以取得狀態更新，並在主控台中顯示這些更新。應用程式執行完畢後，用戶端將會結束。請參閱下方的 除錯應用程式 部分，了解如何查看驅動程式和執行器記錄。

要在 client 模式中啟動 Spark 應用程式，請執行相同的步驟，但將 cluster 替換為 client。以下說明如何在 client 模式中執行 spark-shell

$ ./bin/spark-shell --master yarn --deploy-mode client

新增其他 JAR

在 cluster 模式中，驅動程式在與用戶端不同的機器上執行，因此 SparkContext.addJar 無法立即使用用戶端本地的檔案。若要讓用戶端上的檔案可用於 SparkContext.addJar，請在啟動命令中使用 --jars 選項將這些檔案包含在內。

$ ./bin/spark-submit --class my.main.Class \
    --master yarn \
    --deploy-mode cluster \
    --jars my-other-jar.jar,my-other-other-jar.jar \
    my-main-jar.jar \
    app_arg1 app_arg2

準備工作

在 YARN 上執行 Spark 需要一個內建 Spark 的二進制發行版，並支援 YARN。二進制發行版可以從專案網站的下載頁面下載。您可以下載兩種版本的 Spark 二進制發行版。一種是使用特定版本的 Apache Hadoop 預先建置的；此 Spark 發行版包含內建 Hadoop 執行時期，因此我們稱之為with-hadoop Spark 發行版。另一種是使用使用者提供的 Hadoop 預先建置的；由於此 Spark 發行版不包含內建 Hadoop 執行時期，因此較小，但使用者必須另外提供 Hadoop 安裝。我們稱此變體為no-hadoop Spark 發行版。對於with-hadoop Spark 發行版，由於它已經包含內建 Hadoop 執行時期，因此預設情況下，當作業提交至 Hadoop Yarn 集群時，為了避免 jar 衝突，它不會將 Yarn 的類別路徑填入 Spark。若要覆寫此行為，您可以設定 spark.yarn.populateHadoopClasspath=true。對於no-hadoop Spark 發行版，Spark 會預設填入 Yarn 的類別路徑，以取得 Hadoop 執行時期。對於with-hadoop Spark 發行版，如果您的應用程式依賴於僅在叢集中可用的特定函式庫，您可以嘗試透過設定上述屬性來填入 Yarn 類別路徑。如果您這樣做會遇到 jar 衝突問題，您將需要關閉它並將此函式庫包含在您的應用程式 jar 中。

若要自行建置 Spark，請參閱建置 Spark。

若要讓 YARN 端可以存取 Spark 執行時期 jar，您可以指定spark.yarn.archive 或spark.yarn.jars。有關詳細資訊，請參閱Spark 屬性。如果未指定spark.yarn.archive 或spark.yarn.jars，Spark 會建立一個 zip 檔案，其中包含$SPARK_HOME/jars下的所有 jar，並將其上傳至分散式快取。

設定

對於在 YARN 上的 Spark，大多數設定檔與其他部署模式相同。有關這些設定檔的更多資訊，請參閱設定檔頁面。以下是特定於在 YARN 上的 Spark 的設定檔。

偵錯您的應用程式

在 YARN 術語中，執行器和應用程式主控執行於「容器」內。YARN 有兩種模式用於在應用程式完成後處理容器記錄。如果啟用記錄聚合（使用 yarn.log-aggregation-enable 設定），容器記錄會複製到 HDFS 並在本地機器上刪除。這些記錄可以使用 yarn logs 指令從叢集中的任何位置檢視。

yarn logs -applicationId <app ID>

將列印出所有容器中所有記錄檔案的內容，這些容器來自指定的應用程式。您也可以使用 HDFS 外殼或 API 直接在 HDFS 中檢視容器記錄檔案。它們所在目錄的位置可以透過檢視您的 YARN 設定（yarn.nodemanager.remote-app-log-dir 和 yarn.nodemanager.remote-app-log-dir-suffix）找到。這些記錄也在 Spark 網頁 UI 的執行器標籤中提供。您需要同時執行 Spark 歷程記錄伺服器和 MapReduce 歷程記錄伺服器，並在 yarn-site.xml 中正確設定 yarn.log.server.url。Spark 歷程記錄伺服器 UI 上的記錄 URL 會將您重新導向至 MapReduce 歷程記錄伺服器，以顯示聚合記錄。

當記錄聚合未啟用時，記錄會保留在每個機器上的 YARN_APP_LOGS_DIR 下，通常設定為 /tmp/logs 或 $HADOOP_HOME/logs/userlogs，視 Hadoop 版本和安裝而定。檢視容器的記錄需要前往包含這些記錄的主機，並在這個目錄中尋找。子目錄會依據應用程式 ID 和容器 ID 來整理記錄檔案。這些記錄也在 Spark 網頁 UI 的執行器標籤中提供，且不需要執行 MapReduce 歷程記錄伺服器。

若要檢閱每個容器的啟動環境，請將 yarn.nodemanager.delete.debug-delay-sec 增加為較大的值（例如 36000），然後透過容器啟動節點上的 yarn.nodemanager.local-dirs 存取應用程式快取。此目錄包含啟動指令碼、JAR 以及用於啟動每個容器的所有環境變數。此程序特別適用於除錯類別路徑問題。（請注意，啟用此功能需要叢集設定的管理員權限，並重新啟動所有節點管理員。因此，這不適用於已主機的叢集）。

若要對應用程式主控或執行器使用自訂的 log4j 組態，以下是選項

• 使用 spark-submit 上傳自訂的 log4j.properties，方法是將其新增到要隨應用程式上傳的檔案 --files 清單中。
• 將 -Dlog4j.configuration=<location of configuration file> 新增到 spark.driver.extraJavaOptions（適用於驅動程式）或 spark.executor.extraJavaOptions（適用於執行器）。請注意，如果使用檔案，則應明確提供 file: 協定，且該檔案需要存在於所有節點的本機上。
• 更新 $SPARK_CONF_DIR/log4j.properties 檔案，它會與其他組態一起自動上傳。請注意，如果指定多個選項，其他 2 個選項的優先順序高於此選項。

請注意，對於第一個選項，執行器和應用程式主控都會共用相同的 log4j 組態，當它們在同一個節點上執行時可能會造成問題（例如嘗試寫入同一個日誌檔案）。

如果您需要 YARN 中日誌檔案的適當位置參考，以便 YARN 能正確顯示並彙總它們，請在 log4j2.properties 中使用 spark.yarn.app.container.log.dir。例如，appender.file_appender.fileName=${sys:spark.yarn.app.container.log.dir}/spark.log。對於串流應用程式，設定 RollingFileAppender 並將檔案位置設定為 YARN 的日誌目錄，將可避免大型日誌檔案造成的磁碟空間不足，且可使用 YARN 的日誌公用程式存取日誌。

若要對應用程式主控程式和執行器使用自訂的 metrics.properties，請更新 $SPARK_CONF_DIR/metrics.properties 檔案。它會自動與其他設定一起上傳，因此您不需要使用 --files 手動指定它。

Spark 屬性

SHS 自訂執行器記錄網址可用的模式

例如，假設您想要將記錄網址連結直接指向工作記錄伺服器，而不是讓節點管理員 http 伺服器重新導向它，您可以將 spark.history.custom.executor.log.url 設定如下

{{HTTP_SCHEME}}<JHS_HOST>:<JHS_PORT>/jobhistory/logs/{{NM_HOST}}:{{NM_PORT}}/{{CONTAINER_ID}}/{{CONTAINER_ID}}/{{USER}}/{{FILE_NAME}}?start=-4096

注意：您需要使用實際值取代 <JHS_HOST> 和 <JHS_PORT>。

資源配置和設定概觀

請務必閱讀設定頁面上的自訂資源排程和設定概觀部分。本部分僅說明 YARN 特有的資源排程面向。

YARN 需要設定才能支援使用者想用於 Spark 的任何資源。YARN 3.1.0 新增了 YARN 的資源排程功能。請參閱 YARN 文件，深入了解如何設定資源並適當設定隔離。理想上，資源應設定為隔離，讓執行器只能看到已分配給它的資源。如果您未啟用隔離，使用者有責任建立探索腳本，確保執行器之間不會共用資源。

YARN 支援使用者定義的資源類型，但已內建 GPU (yarn.io/gpu) 和 FPGA (yarn.io/fpga) 類型。因此，如果您使用其中任何一種資源，Spark 可以將您對 Spark 資源的要求轉換成 YARN 資源，而您只需指定 spark.{driver/executor}.resource. 設定即可。請注意，如果您使用自訂資源類型來處理 YARN 的 GPU 或 FPGA，可以使用 spark.yarn.resourceGpuDeviceName 和 spark.yarn.resourceFpgaDeviceName 變更 Spark 對應。如果您使用 FPGA 或 GPU 以外的資源，使用者有責任同時為 YARN (spark.yarn.{driver/executor}.resource.) 和 Spark (spark.{driver/executor}.resource.) 指定設定。

例如，使用者想要為每個執行器要求 2 個 GPU。使用者只需指定 spark.executor.resource.gpu.amount=2，Spark 就會處理從 YARN 要求 yarn.io/gpu 資源類型。

如果使用者有使用者定義的 YARN 資源，我們稱之為 acceleratorX，則使用者必須指定 spark.yarn.executor.resource.acceleratorX.amount=2 和 spark.executor.resource.acceleratorX.amount=2。

YARN 沒有告訴 Spark 分配給每個容器的資源地址。因此，使用者必須指定一個探索腳本，讓執行器在啟動時執行，以探索該執行器可用的資源。您可以在 examples/src/main/scripts/getGpusResources.sh 中找到範例腳本。腳本必須設定執行權限，而使用者應設定權限，不允許惡意使用者修改腳本。腳本應以 ResourceInformation 類別的格式將 JSON 字串寫入 STDOUT。這包含資源名稱和僅提供給該執行器的資源地址陣列。

階段層級排程概觀

YARN 支援階段層級排程

• 在停用動態分配時：允許使用者在階段層級指定不同的工作資源需求，並會使用啟動時要求的相同執行器。
• 在啟用動態分配時：允許使用者在階段層級指定工作和執行器資源需求，並會要求額外的執行器。

One thing to note that is YARN specific is that each ResourceProfile requires a different container priority on YARN. The mapping is simply the ResourceProfile id becomes the priority, on YARN lower numbers are higher priority. This means that profiles created earlier will have a higher priority in YARN. Normally this won’t matter as Spark finishes one stage before starting another one, the only case this might have an affect is in a job server type scenario, so its something to keep in mind. Note there is a difference in the way custom resources are handled between the base default profile and custom ResourceProfiles. To allow for the user to request YARN containers with extra resources without Spark scheduling on them, the user can specify resources via the spark.yarn.executor.resource. config. Those configs are only used in the base default profile though and do not get propagated into any other custom ResourceProfiles. This is because there would be no way to remove them if you wanted a stage to not have them. This results in your default profile getting custom resources defined in spark.yarn.executor.resource. plus spark defined resources of GPU or FPGA. Spark converts GPU and FPGA resources into the YARN built in types yarn.io/gpu) and yarn.io/fpga, but does not know the mapping of any other resources. Any other Spark custom resources are not propagated to YARN for the default profile. So if you want Spark to schedule based off a custom resource and have it requested from YARN, you must specify it in both YARN (spark.yarn.{driver/executor}.resource.) and Spark (spark.{driver/executor}.resource.) configs. Leave the Spark config off if you only want YARN containers with the extra resources but Spark not to schedule using them. Now for custom ResourceProfiles, it doesn’t currently have a way to only specify YARN resources without Spark scheduling off of them. This means for custom ResourceProfiles we propagate all the resources defined in the ResourceProfile to YARN. We still convert GPU and FPGA to the YARN build in types as well. This requires that the name of any custom resources you specify match what they are defined as in YARN.

重要注意事項

• 在排程決策中是否尊重核心要求，取決於使用哪個排程器以及如何設定排程器。
• 在 cluster 模式中，Spark 執行器和 Spark 驅動程式使用的本機目錄將會是為 YARN (Hadoop YARN 設定 yarn.nodemanager.local-dirs) 設定的本機目錄。如果使用者指定 spark.local.dir，將會略過。在 client 模式中，Spark 執行器將會使用為 YARN 設定的本機目錄，而 Spark 驅動程式將會使用在 spark.local.dir 中定義的目錄。這是因為 Spark 驅動程式不會在 client 模式中的 YARN 集群上執行，只有 Spark 執行器會執行。
• 與 Hadoop 類似，--files 和 --archives 選項支援使用 # 指定檔案名稱。例如，您可以指定：--files localtest.txt#appSees.txt，這會將您在本機中命名為 localtest.txt 的檔案上傳到 HDFS，但會連結到名稱為 appSees.txt 的檔案，而您的應用程式應使用名稱 appSees.txt 在 YARN 上執行時參照它。
• 如果您使用本機檔案並在 cluster 模式中執行，--jars 選項允許 SparkContext.addJar 函數運作。如果您使用 HDFS、HTTP、HTTPS 或 FTP 檔案，則不需要使用它。

Kerberos

Spark 中的標準 Kerberos 支援在 安全性 頁面中涵蓋。

在 YARN 模式中，除了 Hadoop 設定中的預設檔案系統之外，存取 Hadoop 檔案系統時，Spark 也會自動取得 Spark 應用程式暫存目錄所 hosting 的服務的委派權杖。

YARN 特定的 Kerberos 設定

Kerberos 疑難排解

除錯 Hadoop/Kerberos 問題可能「很困難」。一個有用的技巧是透過設定 HADOOP_JAAS_DEBUG 環境變數來啟用 Hadoop 中 Kerberos 作業的額外記錄。

export HADOOP_JAAS_DEBUG=true

JDK 類別可透過系統屬性 sun.security.krb5.debug 和 sun.security.spnego.debug=true 來設定，以啟用其 Kerberos 和 SPNEGO/REST 驗證的額外記錄。

-Dsun.security.krb5.debug=true -Dsun.security.spnego.debug=true

所有這些選項都可以在應用程式主控程式中啟用

spark.yarn.appMasterEnv.HADOOP_JAAS_DEBUG true
spark.yarn.am.extraJavaOptions -Dsun.security.krb5.debug=true -Dsun.security.spnego.debug=true

最後，如果 org.apache.spark.deploy.yarn.Client 的記錄層級設定為 DEBUG，記錄將包含取得的所有權杖清單，以及其到期詳細資料

設定外部 Shuffle 服務

若要在 YARN 叢集中的每個 NodeManager 上啟動 Spark Shuffle 服務，請遵循下列說明

1. 使用 YARN 設定檔 建置 Spark。如果您使用預先封裝的發行版，請略過此步驟。
2. 找到 spark-<version>-yarn-shuffle.jar。如果您自行建置 Spark，這應位於 $SPARK_HOME/common/network-yarn/target/scala-<version> 中；如果您使用發行版，則位於 yarn 中。
3. 將此 jar 檔案新增到叢集中所有 NodeManager 的類別路徑中。
4. 在每個節點的 yarn-site.xml 中，將 spark_shuffle 新增到 yarn.nodemanager.aux-services，然後將 yarn.nodemanager.aux-services.spark_shuffle.class 設定為 org.apache.spark.network.yarn.YarnShuffleService。
5. 透過在 etc/hadoop/yarn-env.sh 中設定 YARN_HEAPSIZE（預設為 1000）來增加 NodeManager 的堆積大小，以避免在洗牌期間發生垃圾回收問題。
6. 重新啟動叢集中的所有 NodeManager。

當洗牌服務在 YARN 上執行時，有以下額外的組態選項可用

請注意，以上說明假設已使用預設洗牌服務名稱 spark_shuffle。可以在這裡使用任何名稱，但 YARN NodeManager 組態中使用的值必須與 Spark 應用程式中 spark.shuffle.service.name 的值相符。

洗牌服務預設會從 NodeManager 使用的 Hadoop 組態（例如 yarn-site.xml）取得所有組態。但是，也可以使用名為 spark-shuffle-site.xml 的檔案獨立組態洗牌服務，該檔案應放置在洗牌服務的類別路徑中（預設情況下，與 NodeManager 的類別路徑共用）。洗牌服務會將此視為標準 Hadoop 組態資源，並將其覆蓋在 NodeManager 的組態之上。

使用 Apache Oozie 啟動應用程式

Apache Oozie 可以啟動 Spark 應用程式作為工作流程的一部分。在安全叢集中，啟動的應用程式將需要相關的權杖才能存取叢集的服務。如果 Spark 是使用 keytab 啟動的，這將是自動的。然而，如果 Spark 要在沒有 keytab 的情況下啟動，則設定安全性的責任必須交給 Oozie。

可以在 Oozie 網站 的特定版本文件中的「驗證」區段中找到有關為安全叢集設定 Oozie 和取得工作憑證的詳細資訊。

對於 Spark 應用程式，必須設定 Oozie 工作流程，讓 Oozie 要求應用程式所需的所有權杖，包括

• YARN 資源管理員。
• 本機 Hadoop 檔案系統。
• 用作 I/O 來源或目的地的任何遠端 Hadoop 檔案系統。
• Hive —如果使用。
• HBase —如果使用。
• YARN 時序伺服器，如果應用程式與它互動。

為避免 Spark 嘗試 —然後失敗— 取得 Hive、HBase 和遠端 HDFS 權杖，必須將 Spark 設定設定為停用服務的權杖收集。

Spark 設定必須包含以下列

spark.security.credentials.hive.enabled   false
spark.security.credentials.hbase.enabled  false

設定選項 spark.kerberos.access.hadoopFileSystems 必須取消設定。

使用 Spark 歷史記錄伺服器取代 Spark 網頁使用者介面

當應用程式 UI 已停用時，可以使用 Spark 歷程記錄伺服器應用程式頁面作為正在執行的應用程式的追蹤網址。這在安全叢集中可能是必要的，或用於減少 Spark 驅動程式的記憶體使用量。若要透過 Spark 歷程記錄伺服器設定追蹤，請執行下列操作

• 在應用程式端，在 Spark 的設定中設定 spark.yarn.historyServer.allowTracking=true。如果應用程式的 UI 已停用，這將會告訴 Spark 使用歷程記錄伺服器的網址作為追蹤網址。
• 在 Spark 歷程記錄伺服器上，將 org.apache.spark.deploy.yarn.YarnProxyRedirectFilter 新增到 spark.ui.filters 設定中的篩選器清單。

請注意，歷程記錄伺服器資訊可能不會與應用程式的狀態同步。

執行多個版本的 Spark Shuffle 服務

請注意，此區段僅適用於執行 YARN 版本 >= 2.9.0 時。

在某些情況下，執行多個使用不同 Spark 版本的 Spark Shuffle 服務可能是必要的。這可能很有幫助，例如，在執行 YARN 集群時，其中包含使用多個 Spark 版本的應用程式的混合工作負載，因為某個版本的 shuffle 服務並不總是與其他版本的 Spark 相容。自 2.9.0 以來的 YARN 版本支援在孤立的類別載入器中執行 shuffle 服務（請參閱 YARN-4577），這表示多個 Spark 版本可以在單一 NodeManager 中共存。yarn.nodemanager.aux-services.<service-name>.classpath 和自 YARN 2.10.2/3.1.1/3.2.0 開始的 yarn.nodemanager.aux-services.<service-name>.remote-classpath 選項可用於設定這個。請注意，YARN 3.3.0/3.3.1 有個問題，需要設定 yarn.nodemanager.aux-services.<service-name>.system-classes 作為解決方法。請參閱 YARN-11053 以取得詳細資訊。除了設定個別的類別路徑之外，還必須確保兩個版本宣告不同的埠。這可以使用上面所述的 spark-shuffle-site.xml 檔案來達成。例如，您可能有類似這樣的設定

  yarn.nodemanager.aux-services = spark_shuffle_x,spark_shuffle_y
  yarn.nodemanager.aux-services.spark_shuffle_x.classpath = /path/to/spark-x-path/fat.jar:/path/to/spark-x-config
  yarn.nodemanager.aux-services.spark_shuffle_y.classpath = /path/to/spark-y-path/fat.jar:/path/to/spark-y-config

或

  yarn.nodemanager.aux-services = spark_shuffle_x,spark_shuffle_y
  yarn.nodemanager.aux-services.spark_shuffle_x.classpath = /path/to/spark-x-path/*:/path/to/spark-x-config
  yarn.nodemanager.aux-services.spark_shuffle_y.classpath = /path/to/spark-y-path/*:/path/to/spark-y-config

兩個 spark-*-config 目錄各包含一個檔案，spark-shuffle-site.xml。這些是 XML 檔案，採用 Hadoop 設定格式，每個都包含一些設定，用於調整埠號和使用的指標名稱字首

<configuration>
  <property>
    <name>spark.shuffle.service.port</name>
    <value>7001</value>
  </property>
  <property>
    <name>spark.yarn.shuffle.service.metrics.namespace</name>
    <value>sparkShuffleServiceX</value>
  </property>
</configuration>

這兩個不同服務的值都應該不同。

然後，在 Spark 應用程式的設定中，應該設定一個

  spark.shuffle.service.name = spark_shuffle_x
  spark.shuffle.service.port = 7001

並設定一個

  spark.shuffle.service.name = spark_shuffle_y
  spark.shuffle.service.port = <other value>