Spark 安全性

• Spark 安全性：您需要知道的
• Spark RPC（Spark 程序之間的通訊協定）
  • 驗證
    • YARN
    • Kubernetes
  • 加密
• 本機儲存加密
• Web UI
  • 驗證和授權
  • Spark 歷程伺服器 ACL
  • SSL 設定
  • 準備金鑰庫
    • YARN 模式
    • 獨立模式
    • Mesos 模式
  • HTTP 安全標頭
• 設定網路安全連接埠
  • 僅限獨立模式
  • 所有叢集管理員
• Kerberos
  • 長時間執行應用程式
    • 使用 Keytab
    • 使用驗證快取
  • 與 Kubernetes 的安全互動
• 事件記錄
• 在用戶端模式中保留驅動程式記錄

Spark 安全性：您需要知道的

預設情況下，安全性功能（例如驗證）並未啟用。在部署對網際網路或不受信任網路開放的叢集時，保護對叢集的存取非常重要，以防止未經授權的應用程式在叢集上執行。

Spark 支援多種部署類型，每種類型支援不同的安全性等級。並非所有部署類型在所有環境中都是安全的，而且預設情況下沒有任何類型是安全的。務必評估您的環境、Spark 支援的內容，並採取適當措施來保護您的 Spark 部署。

有許多不同類型的安全性疑慮。Spark 並非一定能防範所有事物。以下是 Spark 支援的部分內容。此外，請查看您所使用的部署類型的部署文件，以取得部署特定設定。Spark 不支援未記載的任何內容。

Spark RPC（Spark 程序之間的通訊協定）

驗證

Spark 目前支援使用共用密碼對 RPC 通道進行驗證。驗證可透過設定 spark.authenticate 組態參數來開啟。

用於產生和分發共用密碼的確切機制取決於部署。除非在下方指定，否則必須透過設定 spark.authenticate.secret 組態選項來定義密碼。在這種情況下，所有 Spark 應用程式和守護程式共用相同的密碼，這會限制這些部署的安全性，特別是在多租戶叢集中。

REST 提交伺服器和 MesosClusterDispatcher 不支援驗證。您應確保對 REST API 和 MesosClusterDispatcher 的所有網路存取（預設情況下分別為連接埠 6066 和 7077）都限制在受信任提交作業的主機上。

YARN

對於 Spark on YARN，Spark 會自動處理共用密碼的產生和分發。每個應用程式將使用唯一的共用密碼。在 YARN 的案例中，此功能仰賴 YARN RPC 加密，才能確保密碼分發的安全。

Kubernetes

在 Kubernetes 上，Spark 也會自動產生每個應用程式獨有的驗證機密。此機密會使用環境變數傳播給執行器 pod。這表示任何可以在 Spark 應用程式執行所在命名空間中列出 pod 的使用者也可以看到他們的驗證機密。Kubernetes 管理員應適當設定存取控制規則，以確保 Spark 驗證安全。

或者，可以使用檔案和使用者掛載到其 pod 中的 Kubernetes 機密來掛載驗證機密。

請注意，使用檔案時，Spark 絕不會將這些檔案掛載到容器中。您必須確保機密檔案已安全部署到容器中，而且驅動程式的機密檔案與執行器的機密檔案一致。

加密

Spark 支援 RPC 連線的 AES 加密。若要啟用加密，也必須啟用 RPC 驗證並妥善設定。AES 加密使用 Apache Commons Crypto 函式庫，而 Spark 的設定系統允許進階使用者存取該函式庫的設定。

也支援 SASL 加密，儘管應視為已棄用。在與低於 2.2.0 版 Spark 的 Shuffle 服務通訊時，仍需要 SASL 加密。

下表說明設定此功能的不同選項。

本機儲存加密

Spark 支援加密寫入至本機磁碟的暫時資料。這涵蓋 Shuffle 檔案、Shuffle 溢位和儲存在磁碟上的資料區塊（用於快取和廣播變數）。它不涵蓋使用 API（例如 saveAsHadoopFile 或 saveAsTable）產生的加密輸出資料。它也可能不涵蓋使用者明確建立的暫時檔案。

下列設定涵蓋啟用寫入至磁碟資料的加密

Web UI

驗證和授權

使用 javax servlet 篩選器 來啟用 Web UI 的驗證。您需要一個篩選器來實作您要部署的驗證方法。Spark 沒有提供任何內建的驗證篩選器。

當驗證篩選器存在時，Spark 也支援對 UI 的存取控制。每個應用程式都可以設定自己的個別存取控制清單 (ACL)。Spark 區分「檢視」權限（誰有權限查看應用程式的 UI）和「修改」權限（誰可以執行終止正在執行的應用程式等動作）。

ACL 可以設定為使用者或群組。設定項目接受以逗號分隔的清單作為輸入，表示可以賦予多個使用者或群組所需的權限。如果您在共用叢集上執行，並且有一組管理員或開發人員需要監控他們可能沒有自己啟動的應用程式，可以使用這個功能。特定 ACL 中新增的萬用字元 (*) 表示所有使用者都將擁有相對應的權限。預設情況下，只有提交應用程式的使用者會新增到 ACL 中。

群組成員資格是使用可設定的群組對應提供者來建立。對應器是使用下表中說明的 spark.user.groups.mapping 設定選項來設定。

下列選項控制 Web UI 的驗證

在 YARN 上，提交應用程式時會將檢視和修改 ACL 提供給 YARN 服務，並透過 YARN 介面控管擁有相關權限的人員。

Spark 歷程伺服器 ACL

SHS 網頁使用者介面的驗證方式與一般應用程式相同，使用 servlet 篩選器。

若要啟用 SHS 中的授權，請使用下列幾個額外的選項

SHS 使用與一般應用程式相同的選項來設定群組對應提供者。在此情況下，群組對應提供者將套用至 SHS 提供的所有使用者介面，而個別應用程式設定將會略過。

SSL 設定

SSL 設定會以階層方式組織。使用者可以設定預設 SSL 設定，除非被通訊協定特定設定覆寫，否則會用於所有支援的通訊協定。這樣一來，使用者可以輕鬆地提供所有協定的共用設定，而不會停用個別設定每個協定的功能。下表說明 SSL 設定名稱空間

可用的 SSL 選項的完整細目如下。${ns} 佔位符應替換為上述其中一個命名空間。

Spark 也支援從 Hadoop 憑證提供者 中擷取 ${ns}.keyPassword、${ns}.keyStorePassword 和 ${ns}.trustStorePassword。使用者可以將密碼儲存在憑證檔案中，並讓不同元件存取，例如

hadoop credential create spark.ssl.keyPassword -value password \
    -provider jceks://hdfs@nn1.example.com:9001/user/backup/ssl.jceks

若要設定憑證提供者的位置，請在 Spark 使用的 Hadoop 設定中設定 hadoop.security.credential.provider.path 設定選項，例如

  <property>
    <name>hadoop.security.credential.provider.path</name>
    <value>jceks://hdfs@nn1.example.com:9001/user/backup/ssl.jceks</value>
  </property>

或透過 SparkConf “spark.hadoop.hadoop.security.credential.provider.path=jceks://hdfs@nn1.example.com:9001/user/backup/ssl.jceks”。

準備金鑰庫

金鑰儲存可以透過 keytool 程式產生。Java 8 此工具的參考文件 在此。設定 Spark 獨立部署模式的金鑰儲存和信任儲存的最基本步驟如下

• 為每個節點產生金鑰對
• 將金鑰對的公開金鑰匯出到每個節點上的檔案
• 將所有匯出的公開金鑰匯入單一信任儲存
• 將信任儲存分發到叢集節點

YARN 模式

若要提供本機信任儲存或金鑰儲存檔案給在叢集模式下執行的驅動程式，可以使用 --files 命令列引數（或等效的 spark.files 設定）將它們與應用程式一起分發。檔案將會放置在驅動程式的作業目錄中，因此 TLS 設定應該只參照檔案名稱，而沒有絕對路徑。

以這種方式分發本機金鑰儲存可能需要將檔案暫存在 HDFS（或叢集使用的其他類似分散式檔案系統）中，因此建議將基礎檔案系統設定為具有安全性（例如，啟用驗證和線路加密）。

獨立模式

使用者需要提供主控程式和工作機的金鑰儲存和設定選項。必須透過附加適當的 Java 系統屬性在 SPARK_MASTER_OPTS 和 SPARK_WORKER_OPTS 環境變數中，或僅在 SPARK_DAEMON_JAVA_OPTS 中設定。

使用者可以允許執行器使用從工作程序繼承的 SSL 設定。可以透過將 spark.ssl.useNodeLocalConf 設定為 true 來達成。在這種情況下，不會使用使用者在用戶端提供的設定。

Mesos 模式

Mesos 1.3.0 和更新版本支援 Secrets 基本元素，做為基於檔案和基於環境的秘密。Spark 允許使用 spark.mesos.driver.secret.filenames 和 spark.mesos.driver.secret.envkeys 分別指定基於檔案和基於環境變數的秘密。

根據秘密儲存後端，秘密可以使用 spark.mesos.driver.secret.names 和 spark.mesos.driver.secret.values 設定屬性分別按參考或按值傳遞。

參考類型機密由機密儲存庫提供，並以名稱參照，例如 /mysecret。值類型機密會在命令列中傳遞，並轉換為其適當的檔案或環境變數。

HTTP 安全標頭

可以將 Apache Spark 設定為包含 HTTP 標頭，以協助防止跨網站指令碼 (XSS)、跨框架指令碼 (XFS)、MIME 偵測，以及強制執行 HTTP 嚴格傳輸安全性。

設定網路安全連接埠

一般來說，Spark 集群及其服務並未部署在公共網際網路上。它們通常是私人服務，而且應該只能在部署 Spark 的組織網路中存取。應將 Spark 服務所使用的主機和埠的存取權限限制給需要存取這些服務的來源主機。

以下是 Spark 用於其通訊的主要埠，以及如何設定這些埠。

僅限獨立模式

所有叢集管理員

Kerberos

Spark 支援在使用 Kerberos 進行驗證的環境中提交應用程式。在多數情況下，Spark 在驗證 Kerberos 感知服務時，仰賴目前已登入使用者的憑證。此類憑證可透過使用 kinit 等工具登入已設定的 KDC 來取得。

與 Hadoop 為基礎的服務交談時，Spark 需要取得委派權杖，以便非本機程序可以進行驗證。Spark 附帶對 HDFS 和其他 Hadoop 檔案系統、Hive 和 HBase 的支援。

使用 Hadoop 檔案系統（例如 HDFS 或 WebHDFS）時，Spark 會取得主機使用者家目錄的服務相關權杖。

如果 HBase 在應用程式的類別路徑中，且 HBase 設定已開啟 Kerberos 驗證（hbase.security.authentication=kerberos），則會取得 HBase 權杖。

類似地，如果 Hive 在類別路徑中，且設定包含遠端 Metastore 服務的 URI（hive.metastore.uris 不為空），則會取得 Hive 權杖。

如果應用程式需要與其他安全的 Hadoop 檔案系統互動，則需要在啟動時明確提供其 URI 給 Spark。這可透過在 spark.kerberos.access.hadoopFileSystems 屬性中列出這些 URI 來完成，如下面的設定區段所述。

Spark 也支援使用 Java 服務機制（請參閱 java.util.ServiceLoader）自訂委派權杖提供者。可透過在 JAR 的 META-INF/services 目錄中對應檔案中列出其名稱，讓 Spark 使用 org.apache.spark.security.HadoopDelegationTokenProvider 的實作。

目前僅在 YARN 和 Mesos 模式中支援委派權杖支援。請參閱特定於部署的頁面以取得更多資訊。

下列選項提供更精細的控制功能

使用者可以在資源排程器中排除 Kerberos 委派權杖更新。目前僅在 YARN 上支援。設定涵蓋在 在 YARN 上執行 Spark 頁面中。

長時間執行應用程式

如果長時間執行的應用程式的執行時間超過其需要存取的服務中設定的最大委派權杖生命週期，則可能會遇到問題。

此功能並非在所有地方都可用。特別是，它僅在 YARN 和 Kubernetes（用戶端和叢集模式）以及在使用用戶端模式時在 Mesos 上實作。

Spark 支援為這些應用程式自動建立新的權杖。有兩種方式可以啟用此功能。

使用 Keytab

透過提供 Spark 一個主體和 keytab（例如，使用 spark-submit 搭配 --principal 和 --keytab 參數），應用程式將維護一個有效的 Kerberos 登入，可無限期地用來擷取委派權杖。

請注意，在叢集模式中使用 keytab 時，它將複製到執行 Spark 驅動程式的機器上。在 YARN 的情況下，這表示使用 HDFS 作為 keytab 的暫存區域，因此強烈建議至少將 YARN 和 HDFS 使用加密保護。

使用驗證快取

透過在 Spark 的設定中將 spark.kerberos.renewal.credentials 設定為 ccache，將使用本機 Kerberos 權杖快取進行驗證。Spark 會在可更新的生命週期內持續更新權杖，但在權杖過期後，需要取得新的權杖（例如，執行 kinit）。

使用者有責任維護 Spark 可以使用的更新權杖快取。

可以透過設定 KRB5CCNAME 環境變數自訂權杖快取的位置。

與 Kubernetes 的安全互動

在與 Kerberos 背後的 Hadoop-based 服務通訊時，請注意 Spark 需要取得委派權杖，以便非本機程序可以驗證。Kubernetes 中的這些委派權杖儲存在驅動程式及其執行器共享的 Secrets 中。因此，有以下三種提交 Kerberos 工作的方式

在所有情況下，您都必須定義環境變數：HADOOP_CONF_DIR 或 spark.kubernetes.hadoop.configMapName.

另外，請注意 KDC 必須在容器內部可見。

如果使用者想要使用遠端的 HADOOP_CONF 目錄，其中包含 Hadoop 組態檔，這可以透過設定 spark.kubernetes.hadoop.configMapName 為預先存在的 ConfigMap 來達成。

1. 使用儲存在本機票證快取中的 TGT 提交

   /usr/bin/kinit -kt <keytab_file> <username>/<krb5 realm>
   /opt/spark/bin/spark-submit \
    --deploy-mode cluster \
    --class org.apache.spark.examples.HdfsTest \
    --master k8s://<KUBERNETES_MASTER_ENDPOINT> \
    --conf spark.executor.instances=1 \
    --conf spark.app.name=spark-hdfs \
    --conf spark.kubernetes.container.image=spark:latest \
    --conf spark.kubernetes.kerberos.krb5.path=/etc/krb5.conf \
    local:///opt/spark/examples/jars/spark-examples_<VERSION>.jar \
    <HDFS_FILE_LOCATION>
   

2. 使用本機 Keytab 和 Principal 提交

   /opt/spark/bin/spark-submit \
    --deploy-mode cluster \
    --class org.apache.spark.examples.HdfsTest \
    --master k8s://<KUBERNETES_MASTER_ENDPOINT> \
    --conf spark.executor.instances=1 \
    --conf spark.app.name=spark-hdfs \
    --conf spark.kubernetes.container.image=spark:latest \
    --conf spark.kerberos.keytab=<KEYTAB_FILE> \
    --conf spark.kerberos.principal=<PRINCIPAL> \
    --conf spark.kubernetes.kerberos.krb5.path=/etc/krb5.conf \
    local:///opt/spark/examples/jars/spark-examples_<VERSION>.jar \
    <HDFS_FILE_LOCATION>
   

3. 使用預先填入的機密提交，其中包含委派權杖，且已存在於命名空間中

   /opt/spark/bin/spark-submit \
    --deploy-mode cluster \
    --class org.apache.spark.examples.HdfsTest \
    --master k8s://<KUBERNETES_MASTER_ENDPOINT> \
    --conf spark.executor.instances=1 \
    --conf spark.app.name=spark-hdfs \
    --conf spark.kubernetes.container.image=spark:latest \
    --conf spark.kubernetes.kerberos.tokenSecret.name=<SECRET_TOKEN_NAME> \
    --conf spark.kubernetes.kerberos.tokenSecret.itemKey=<SECRET_ITEM_KEY> \
    --conf spark.kubernetes.kerberos.krb5.path=/etc/krb5.conf \
    local:///opt/spark/examples/jars/spark-examples_<VERSION>.jar \
    <HDFS_FILE_LOCATION>
   

3b. 以 (3) 中的方式提交，但指定預先建立的 krb5 ConfigMap 和預先建立的 HADOOP_CONF_DIR ConfigMap

/opt/spark/bin/spark-submit \
    --deploy-mode cluster \
    --class org.apache.spark.examples.HdfsTest \
    --master k8s://<KUBERNETES_MASTER_ENDPOINT> \
    --conf spark.executor.instances=1 \
    --conf spark.app.name=spark-hdfs \
    --conf spark.kubernetes.container.image=spark:latest \
    --conf spark.kubernetes.kerberos.tokenSecret.name=<SECRET_TOKEN_NAME> \
    --conf spark.kubernetes.kerberos.tokenSecret.itemKey=<SECRET_ITEM_KEY> \
    --conf spark.kubernetes.hadoop.configMapName=<HCONF_CONFIG_MAP_NAME> \
    --conf spark.kubernetes.kerberos.krb5.configMapName=<KRB_CONFIG_MAP_NAME> \
    local:///opt/spark/examples/jars/spark-examples_<VERSION>.jar \
    <HDFS_FILE_LOCATION>

事件記錄

如果您的應用程式使用事件記錄，則事件記錄所在的目錄 (spark.eventLog.dir) 應手動建立並具有適當的權限。若要保護記錄檔，目錄權限應設定為 drwxrwxrwxt。目錄的所有者和群組應對應到執行 Spark 歷程記錄伺服器的超級使用者。

這將允許所有使用者寫入目錄，但會阻止沒有權限的使用者讀取、移除或重新命名檔案，除非他們擁有該檔案。Spark 將建立事件記錄檔，並設定權限，讓只有使用者和群組具有讀取和寫入權限。

在用戶端模式中保留驅動程式記錄

如果您的應用程式在用戶端模式中透過啟用 spark.driver.log.persistToDfs.enabled 來保留驅動程式記錄，則驅動程式記錄所在的目錄 (spark.driver.log.dfsDir) 應手動建立並具有適當的權限。若要保護記錄檔，目錄權限應設定為 drwxrwxrwxt。目錄的所有者和群組應對應到執行 Spark 歷程記錄伺服器的超級使用者。

這將允許所有使用者寫入目錄，但會阻止沒有權限的使用者讀取、移除或重新命名檔案，除非他們擁有該檔案。Spark 將建立驅動程式記錄檔，並設定權限，讓只有使用者和群組具有讀取和寫入權限。