效能調整

• 將資料快取在記憶體中
• 其他設定選項
• SQL 查詢的聯結策略提示
• SQL 查詢的合併提示
• 適應式查詢執行
  • 合併後洗牌分區
  • 分割傾斜的洗牌分區
  • 將排序合併聯結轉換成廣播聯結
  • 將排序合併聯結轉換成洗牌雜湊聯結
  • 最佳化傾斜聯結
  • 其他

對於某些工作負載，透過將資料快取在記憶體中或啟用一些實驗選項，可以提升效能。

將資料快取在記憶體中

Spark SQL 可以使用內建記憶體欄位格式快取表格，方法是呼叫 spark.catalog.cacheTable("tableName") 或 dataFrame.cache()。然後，Spark SQL 只會掃描必要的欄位，並會自動調整壓縮以將記憶體使用量和 GC 壓力降到最低。您可以呼叫 spark.catalog.uncacheTable("tableName") 或 dataFrame.unpersist() 將表格從記憶體中移除。

可以使用 SparkSession 上的 setConf 方法，或使用 SQL 執行 SET key=value 指令來設定內建記憶體快取。

其他設定選項

以下選項也可以用來調整查詢執行的效能。隨著更多最佳化自動執行，這些選項在未來版本中可能會被棄用。

SQL 查詢的聯結策略提示

連接策略提示，即 BROADCAST、MERGE、SHUFFLE_HASH 和 SHUFFLE_REPLICATE_NL，指示 Spark 在與另一個關係連接時對每個指定的關係使用提示的策略。例如，當在資料表「t1」上使用 BROADCAST 提示時，Spark 會優先考慮將「t1」作為建置側的廣播連接（視是否有任何等值連接金鑰而定，可能是廣播雜湊連接或廣播巢狀迴圈連接），即使統計資料建議的資料表「t1」大小高於組態 spark.sql.autoBroadcastJoinThreshold。

當在聯結的兩側指定不同的聯結策略提示時，Spark 會優先考慮 BROADCAST 提示，優先於 MERGE 提示，優先於 SHUFFLE_HASH 提示，優先於 SHUFFLE_REPLICATE_NL 提示。當兩側都指定 BROADCAST 提示或 SHUFFLE_HASH 提示時，Spark 會根據聯結類型和關係大小來選擇建立側。

請注意，Spark 不保證會選擇提示中指定的聯結策略，因為特定策略可能不支援所有聯結類型。

spark.table("src").join(spark.table("records").hint("broadcast"), "key").show()

spark.table("src").join(spark.table("records").hint("broadcast"), "key").show()

spark.table("src").join(spark.table("records").hint("broadcast"), "key").show();

src <- sql("SELECT * FROM src")
records <- sql("SELECT * FROM records")
head(join(src, hint(records, "broadcast"), src$key == records$key))

-- We accept BROADCAST, BROADCASTJOIN and MAPJOIN for broadcast hint
SELECT /*+ BROADCAST(r) */ * FROM records r JOIN src s ON r.key = s.key

如需更多詳細資訊，請參閱 聯結提示 文件。

SQL 查詢的合併提示

合併提示允許 Spark SQL 使用者控制輸出檔案數量，就像 Dataset API 中的 coalesce、repartition 和 repartitionByRange，它們可用於效能調整和減少輸出檔案數量。「COALESCE」提示只有一個分割區號碼作為參數。「REPARTITION」提示有一個分割區號碼、欄位，或兩者皆有/皆無作為參數。「REPARTITION_BY_RANGE」提示必須有欄位名稱，分割區號碼則為選用。「REBALANCE」提示有一個初始分割區號碼、欄位，或兩者皆有/皆無作為參數。

SELECT /*+ COALESCE(3) */ * FROM t;
SELECT /*+ REPARTITION(3) */ * FROM t;
SELECT /*+ REPARTITION(c) */ * FROM t;
SELECT /*+ REPARTITION(3, c) */ * FROM t;
SELECT /*+ REPARTITION */ * FROM t;
SELECT /*+ REPARTITION_BY_RANGE(c) */ * FROM t;
SELECT /*+ REPARTITION_BY_RANGE(3, c) */ * FROM t;
SELECT /*+ REBALANCE */ * FROM t;
SELECT /*+ REBALANCE(3) */ * FROM t;
SELECT /*+ REBALANCE(c) */ * FROM t;
SELECT /*+ REBALANCE(3, c) */ * FROM t;

如需更多詳細資訊，請參閱 分割區提示 文件。

適應式查詢執行

適應式查詢執行 (AQE) 是 Spark SQL 中的一項最佳化技術，它利用執行時期統計資料來選擇最有效的查詢執行計畫，自 Apache Spark 3.2.0 起預設啟用。Spark SQL 可以透過 spark.sql.adaptive.enabled 作為總設定來開啟和關閉 AQE。截至 Spark 3.0，AQE 中有三個主要功能：包括合併後洗牌分割區、將排序合併聯結轉換為廣播聯結，以及傾斜聯結最佳化。

合併後洗牌分區

當 spark.sql.adaptive.enabled 和 spark.sql.adaptive.coalescePartitions.enabled 設定都為 true 時，此功能會根據地圖輸出統計資料合併後洗牌分割區。在執行查詢時，此功能簡化了洗牌分割區號碼的調整。您不需要設定適當的洗牌分割區號碼以符合您的資料集。一旦您透過 spark.sql.adaptive.coalescePartitions.initialPartitionNum 設定設定足夠大的初始洗牌分割區號碼，Spark 就可以在執行時期選擇適當的洗牌分割區號碼。

分割傾斜的洗牌分區

將排序合併聯結轉換成廣播聯結

當任何聯結側的執行階段統計資料小於適應性廣播雜湊聯結閾值時，AQE 會將排序合併聯結轉換為廣播雜湊聯結。這不如一開始就規劃廣播雜湊聯結有效率，但比持續執行排序合併聯結好，因為我們可以節省兩個聯結側的排序，並在本地讀取洗牌檔案以節省網路流量（如果 spark.sql.adaptive.localShuffleReader.enabled 為 true）。

將排序合併聯結轉換成洗牌雜湊聯結

當所有後洗牌分區都小於閾值時，AQE 會將排序合併聯結轉換為洗牌雜湊聯結，最大閾值可以在設定 spark.sql.adaptive.maxShuffledHashJoinLocalMapThreshold 中看到。

最佳化傾斜聯結

資料傾斜可能會嚴重降低聯結查詢的效能。此功能透過將傾斜的任務分割（並在需要時複製）成大致大小相等的任務，動態處理排序合併聯結中的傾斜。當 spark.sql.adaptive.enabled 和 spark.sql.adaptive.skewJoin.enabled 設定都啟用時，它就會生效。

其他