在適應性最佳化期間 (當 spark.sql.adaptive.enabled 為 true 時) 的洗牌區段的建議大小 (以位元組為單位)。當 Spark 合併小型洗牌區段或分割傾斜洗牌區段時，它會生效。

設定在執行聯結時將廣播到所有工作者節點的資料表的最大大小 (以位元組為單位)。將此值設定為 -1 可以停用廣播。預設值與 spark.sql.autoBroadcastJoinThreshold 相同。請注意，此設定僅用於適應性架構。

當為 true 且 'spark.sql.adaptive.enabled' 為 true 時，Spark 會根據目標大小 (由 'spark.sql.adaptive.advisoryPartitionSizeInBytes' 指定) 合併連續的洗牌區段，以避免太多小型工作。

合併前的洗牌區段初始數量。如果未設定，則等於 spark.sql.shuffle.partitions。此設定僅在 'spark.sql.adaptive.enabled' 和 'spark.sql.adaptive.coalescePartitions.enabled' 皆為 true 時才會生效。

合併後洗牌分區的最小大小。這在合併分區時，適應性計算的目標大小過小時很有用。

為 true 時，Spark 在合併連續的洗牌分區時，不會遵守「spark.sql.adaptive.advisoryPartitionSizeInBytes」（預設為 64MB）所指定的目標大小，而是根據 Spark 集群的預設並行度，適應性地計算目標大小。計算出的大小通常會小於設定的目標大小。這是為了最大化並行度，並在啟用適應性查詢執行時，避免效能下降。建議將此設定設為 false，並遵守設定的目標大小。

要使用的自訂成本評估器類別，用於適應性執行。如果未設定，Spark 預設會使用自己的 SimpleCostEvaluator。

為 true 時，啟用適應性查詢執行，它會根據準確的執行時間統計資料，在查詢執行過程中重新最佳化查詢計畫。

為 true 時，強制啟用 OptimizeSkewedJoin，即使它會產生額外的洗牌。

為 true 且「spark.sql.adaptive.enabled」為 true 時，Spark 會嘗試使用本機洗牌讀取器，在不需要洗牌分區時讀取洗牌資料，例如在將排序合併聯結轉換為廣播雜湊聯結之後。

設定每個分區可以允許建置本機雜湊映射的最大大小（以位元組為單位）。如果這個值不大於 spark.sql.adaptive.advisoryPartitionSizeInBytes，而且所有分區大小都不大於這個設定，聯結選取會偏好使用洗牌雜湊聯結，而不是排序合併聯結，不論 spark.sql.join.preferSortMergeJoin 的值為何。

為 true 且「spark.sql.adaptive.enabled」為 true 時，Spark 會最佳化 RebalancePartitions 中的傾斜洗牌分區，並根據目標大小（由「spark.sql.adaptive.advisoryPartitionSizeInBytes」指定）將它們分割成較小的分區，以避免資料傾斜。

設定要在適應性最佳化器中停用的規則清單，其中規則以其規則名稱指定，並以逗號分隔。最佳化器會記錄實際上已排除的規則。

如果分區大小小於這個因子乘以 spark.sql.adaptive.advisoryPartitionSizeInBytes，則會在分割期間合併分區。

為 true 且「spark.sql.adaptive.enabled」為 true 時，Spark 會透過分割（並在需要時複製）傾斜分區，動態處理洗牌聯結（排序合併和洗牌雜湊）中的傾斜。

如果分區大小大於這個因子乘以中位數分區大小，且也大於「spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes」，則會將分區視為傾斜。

如果分區大小（以位元組為單位）大於此閾值，且大於「spark.sql.adaptive.skewJoin.skewedPartitionFactor」乘以中位數分區大小，則該分區會被視為傾斜。理想情況下，此設定應大於「spark.sql.adaptive.advisoryPartitionSizeInBytes」。

如果為 true，Spark 會為已實作的所有函式啟用命名參數支援。

如果為 true，且「spark.sql.ansi.enabled」為 true，Spark SQL 會將包含在雙引號 (") 中的文字讀取為識別碼。如果為 false，則會將其讀取為字串文字。

如果為 true，Spark SQL 會使用符合 ANSI 的方言，而不是符合 Hive 的方言。例如，當 SQL 營運子/函式的輸入無效時，Spark 會在執行階段擲回例外，而不是傳回 null 結果。有關此方言的完整詳細資料，您可以在 Spark 文件的「ANSI 相容性」區段中找到。某些 ANSI 方言功能可能並非直接來自 ANSI SQL 標準，但其行為與 ANSI SQL 的風格一致

如果為 true，且「spark.sql.ansi.enabled」為 true，Spark SQL 剖析器會強制執行 ANSI 保留關鍵字，並禁止使用保留關鍵字作為別名名稱和/或表格、檢視、函式等的識別碼的 SQL 查詢。

如果為 true，且「spark.sql.ansi.enabled」為 true，在組合關聯時，JOIN 會優先於逗號。例如，t1, t2 JOIN t3 應產生 t1 X (t2 X t3)。如果設定為 false，則結果為 (t1 X t2) X t3。

設定在執行連接時會廣播到所有工作節點的表格最大大小（以位元組為單位）。將此值設定為 -1 可以停用廣播。請注意，目前僅支援已執行 ANALYZE TABLE <tableName> COMPUTE STATISTICS noscan 命令的 Hive Metastore 表格的統計資料，以及直接在資料檔案上計算統計資料的基於檔案的資料來源表格。

用於編寫 AVRO 檔案的壓縮編解碼器。支援的編解碼器：uncompressed、deflate、snappy、bzip2、xz 和 zstandard。預設編解碼器為 snappy。

用於編寫 AVRO 檔案的 deflate 編解碼器的壓縮等級。有效值必須在 1 到 9（含）或 -1 的範圍內。預設值為 -1，在目前的實作中對應到等級 6。

如果為 true，則啟用過濾器推送到 Avro 資料來源。

廣播聯結中廣播等待時間的逾時時間（秒）。

如果為 true，則在聯結兩個具有不同數量的儲存區的儲存區表格時，儲存區數量較多的那一側將合併為與另一側具有相同的儲存區數量。較多的儲存區數量可以被較少的儲存區數量整除。儲存區合併套用於排序合併聯結和隨機雜湊聯結。注意：合併儲存區表格可以避免在聯結中不必要的隨機處理，但它也會減少並行度，並可能導致隨機雜湊聯結的 OOM。

要合併的兩個儲存區的數量比率應該小於或等於此值，才能套用儲存區合併。此組態僅在 'spark.sql.bucketing.coalesceBucketsInJoin.enabled' 設為 true 時才有作用。

將用作 Spark 內建 v1 目錄的 v2 介面的目錄實作：spark_catalog。此目錄與 spark_catalog 共用其識別名稱空間，並且必須與其一致；例如，如果表格可以由 spark_catalog 載入，則此目錄也必須傳回表格的元資料。若要將作業委派給 spark_catalog，實作可以延伸 'CatalogExtension'。

如果設為 true，則啟用 CBO 來估計計畫統計資料。

將星形聯結過濾器啟發法套用於基於成本的聯結列舉。

動態程式設計演算法中允許的最大聯結節點數。

在 CBO 中啟用聯結重新排序。

如果為 true，則邏輯計畫將從目錄中擷取列數和欄位統計資料。

如果為 true，則啟用基於星形架構偵測的聯結重新排序。

如果為 true，則 Spark 會在 CREATE/REPLACE/ALTER TABLE 命令中將 CHAR 類型取代為 VARCHAR 類型，以便新建立/更新的表格不會有 CHAR 類型的欄位。此組態不會影響具有 CHAR 類型欄位的現有表格。

如果設為 true，則 spark-sql CLI 會在查詢輸出中列印欄位名稱。

用於儲存無法解析的原始/未解析 JSON 和 CSV 記錄的內部欄位名稱。

如果為 true，則啟用將篩選推送到 CSV 資料源。

如果將組態屬性設定為 true，則 Java 8 API 的 java.time.Instant 和 java.time.LocalDate 類別將用作 Catalyst 的 TimestampType 和 DateType 的外部類型。如果設定為 false，則 java.sql.Timestamp 和 java.sql.Date 會用於相同目的。

類似序列的項目欄位最大數目，可以在偵錯輸出中轉換為字串。任何超出限制的元素都將被捨棄，並以「... N 個更多欄位」的佔位符取代。

預設目錄名稱。如果使用者尚未明確設定目前的目錄，則這將是目前的目錄。

如果為 PRETTY，則錯誤訊息包含錯誤類別、訊息和查詢內容的文字表示。MINIMAL 和 STANDARD 格式是漂亮的 JSON 格式，其中 STANDARD 包含額外的 JSON 欄位 message。此組態屬性會影響執行查詢時 Thrift Server 和 SQL CLI 的錯誤訊息。

（已於 Spark 3.0 中棄用，請設定「spark.sql.execution.arrow.pyspark.enabled」）

（已於 Spark 3.0 中棄用，請設定「spark.sql.execution.arrow.pyspark.fallback.enabled」）

將 Arrow 批次轉換為 Spark DataFrame 時，如果 Arrow 批次的位元組大小小於此閾值，則在驅動程式端使用本地集合。否則，Arrow 批次會傳送並反序列化到執行器中的 Spark 內部列。

使用 Apache Arrow 時，限制可寫入記憶體中單一 ArrowRecordBatch 的最大記錄數目。如果設定為零或負值，則沒有限制。

如果為 true，則在 PySpark 中使用 Apache Arrow 進行資料欄傳輸。此最佳化適用於：1. pyspark.sql.DataFrame.toPandas。2. pyspark.sql.SparkSession.createDataFrame，當其輸入為 Pandas DataFrame 或 NumPy ndarray 時。下列資料類型不受支援：TimestampType 的 ArrayType。

如果為 true，則「spark.sql.execution.arrow.pyspark.enabled」啟用的最佳化會在發生錯誤時自動回退到非最佳化的實作。

（實驗性）如果為 true，則在從 Arrow 轉換為 Pandas 時，使用 Apache Arrow 的自毀和分割區塊選項，進行 PySpark 中的資料欄傳輸。這會以一些 CPU 時間為代價來減少記憶體使用量。此最佳化適用於：當「spark.sql.execution.arrow.pyspark.enabled」設定時，pyspark.sql.DataFrame.toPandas。

當為 true 時，在 SparkR 中使用 Apache Arrow 進行資料欄位傳輸。此最佳化適用於：1. 當輸入為 R 資料框時建立 createDataFrame 2. 收集 3. dapply 4. gapply 下列資料類型不受支援：FloatType、BinaryType、ArrayType、StructType 和 MapType。

建立 pandas 資料框時，結構類型轉換模式。當為「舊版」時，1. 當 Arrow 最佳化已停用，轉換為 Row 物件，2. 當 Arrow 最佳化已啟用，轉換為 dict 或在有重複巢狀欄位名稱時引發例外狀況。當為「row」時，不論 Arrow 最佳化為何，都轉換為 Row 物件。當為「dict」時，不論 Arrow 最佳化為何，都轉換為 dict 並使用附檔字尾的鍵名稱（例如 a_0、a_1），如果存在重複的巢狀欄位名稱。

與 spark.buffer.size 相同，但只適用於 Pandas UDF 執行。如果未設定，預設值為 spark.buffer.size。請注意，Pandas 執行需要超過 4 個位元組。降低此值可以使小型 Pandas UDF 批次進行反覆運算和串接；但是，它可能會降低效能。請參閱 SPARK-27870。

當為 true 時，Python UDF 的追蹤會簡化。它會在追蹤中隱藏 PySpark 中的 Python 工作器、（解）序列化等，只顯示 UDF 的例外狀況訊息。請注意，這只適用於 CPython 3.7+。

在一般 Python UDF 中啟用 Arrow 最佳化。此最佳化只能在給定函數至少有一個引數時啟用。

為 Python UDTF 啟用 Arrow 最佳化。

在 SQL 查詢中，如果 SORT 後面接著 LIMIT，例如「SELECT x FROM t ORDER BY y LIMIT m」，如果 m 低於此臨界值，則在記憶體中進行前 K 筆排序，否則執行可能會溢出到磁碟的整體排序。

是否忽略損毀的檔案。如果為 true，Spark 工作會在遇到損毀的檔案時繼續執行，且已讀取的內容仍會傳回。此組態僅在使用基於檔案的來源（例如 Parquet、JSON 和 ORC）時有效。

是否忽略遺失的檔案。如果為 true，Spark 工作會在遇到遺失的檔案時繼續執行，且已讀取的內容仍會傳回。此組態僅在使用基於檔案的來源（例如 Parquet、JSON 和 ORC）時有效。

讀取檔案時，封裝到單一分割區中的最大位元組數。此組態僅在使用基於檔案的來源（例如 Parquet、JSON 和 ORC）時有效。

建議（不保證）的最大分割檔案分割區數。如果設定此值，如果分割區的初始數量超過此值，Spark 會重新調整每個分割區的比例，讓分割區數量接近此值。此組態僅在使用基於檔案的來源（例如 Parquet、JSON 和 ORC）時有效。

寫入單一檔案的最大記錄數。如果此值為零或負值，則沒有限制。

建議（不保證）的最小分割檔案分割區數。如果未設定，預設值為 spark.sql.leafNodeDefaultParallelism。此組態僅在使用基於檔案的來源（例如 Parquet、JSON 和 ORC）時有效。

如果將此選項設定為 false，且所有輸入都是二進位，則 functions.concat 會傳回二進位輸出的結果。否則，會傳回字串結果。

如果將此選項設定為 false，且所有輸入都是二進位，則 elt 會傳回二進位輸出的結果。否則，會傳回字串結果。

如果為 true，則選取清單中的別名可用於群組依據子句。如果為 false，則會在這種情況下擲回分析例外。

如果為 true，則群組依據子句中的序號會視為選取清單中的位置。如果為 false，則會忽略序號。

如果設定為 true，且 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 為 true，則會使用內建的 ORC/Parquet 寫入器處理插入使用 HiveSQL 語法建立的已分割的 ORC/Parquet 資料表。

如果設定為 true，Spark 會嘗試在 CTAS 中使用內建資料來源寫入器，而不是 Hive serde。此旗標僅在 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 分別針對 Parquet 和 ORC 格式啟用時才有效

如果設定為 true，Spark 會嘗試在 INSERT OVERWRITE DIRECTORY 中使用內建資料來源寫入器，而不是 Hive serde。此旗標僅在 spark.sql.hive.convertMetastoreParquet 或 spark.sql.hive.convertMetastoreOrc 分別針對 Parquet 和 ORC 格式啟用時才有效

設為 true 時，內建 ORC 讀取器和寫入器會用於處理使用 HiveQL 語法建立的 ORC 表格，而不是 Hive serde。

設為 true 時，內建 Parquet 讀取器和寫入器會用於處理使用 HiveQL 語法建立的 Parquet 表格，而不是 Hive serde。

為 true 時，也會嘗試合併不同 Parquet 資料檔中可能不同但相容的 Parquet 架構。此組態僅在「spark.sql.hive.convertMetastoreParquet」為 true 時有效。

為 true 時，Spark 會取得分割名稱，而不是分割物件來刪除分割，這可以提升刪除分割的效能。

當非零時，啟用分割檔案元資料的記憶體快取。所有表格共用一個快取，最多可以使用指定的位元組數來儲存檔案元資料。此設定僅在啟用 Hive 檔案來源分割管理時有效。

為 true 時，也為檔案來源表格啟用 Metastore 分割管理。這包括資料來源和轉換的 Hive 表格。啟用分割管理後，資料來源表格會將分割儲存在 Hive Metastore 中，並在 spark.sql.hive.metastorePartitionPruning 設為 true 時，在查詢規劃期間使用 Metastore 來修剪分割。

為 true 時，某些謂詞會下推至 Hive Metastore，以便可以提早消除不匹配的分割。

從 Metastore 遇到 MetaException 時，是否改用從 Hive Metastore 取得所有分割，並在 Spark 客戶端執行分割修剪。請注意，如果啟用此選項且有許多分割要列出，Spark 查詢效能可能會下降。如果停用此選項，Spark 會改為讓查詢失敗。

啟用此設定時，如果謂詞不受 Hive 支援，或 Spark 因從 Metastore 遇到 MetaException 而改用，Spark 會改用先取得分割名稱，然後在客戶端評估篩選式來修剪分割。請注意，不支援具有 TimeZoneAwareExpression 的謂詞。

設為 true 時，Hive Thrift 伺服器會以非同步方式執行 SQL 查詢。

為 true 時，在從 HDFS 儲存的資料中讀取資料時，檢查表格根目錄下的所有分割路徑。此組態將在未來版本中棄用，並由 spark.files.ignoreMissingFiles 取代。

控制欄位快取批次的容量。較大的批次容量可以提升記憶體使用率和壓縮，但快取資料時有發生 OOM 的風險。

當設為 true 時，Spark SQL 會根據資料統計資料自動為每一個欄位選擇壓縮編解碼器。

為欄位快取啟用向量化讀取器。

當為 true 時，啟用將篩選條件下推至 JSON 資料來源。

在 JSON 資料來源和 JSON 函式（例如 to_json）中產生 JSON 物件時，是否忽略 null 欄位。如果為 false，則會在 JSON 物件中為 null 欄位產生 null。

產生資料的 Spark SQL 葉節點的預設並行度，例如檔案掃描節點、本機資料掃描節點、範圍節點等。此設定的預設值為「SparkContext#defaultParallelism」。

內建函式中重複的 map 鍵的重複資料刪除政策：CreateMap、MapFromArrays、MapFromEntries、StringToMap、MapConcat 和 TransformKeys。當為 EXCEPTION 時，如果偵測到重複的 map 鍵，查詢會失敗。當為 LAST_WIN 時，最後插入的 map 鍵優先。

選用的其他遠端 Maven 鏡像儲存庫的逗號分隔字串設定。這只用於在預設 Maven Central 儲存庫無法連線時，下載 IsolatedClientLoader 中的 Hive jar。

輸出至中繼資料字串的最大字元數。例如 DataSourceScanExec 中的檔案位置，如果超過長度，每個值都會被縮寫。

輸出至計畫字串的最大字元數。如果計畫較長，後續輸出會被截斷。預設設定總是會產生完整的計畫。如果計畫字串佔用太多記憶體，或導致驅動程式或 UI 程序發生 OutOfMemory 錯誤，請將此設定為較低的值，例如 8k。

單一分割允許的最大位元組數。否則，規劃器會導入洗牌以改善並行度。

是否總是合併兩個相鄰的投影和內聯表達式，即使會造成額外的重複。

為 true 時，我們會在聯結金鑰中使用分割欄位時產生謂詞

是否在 SQL 最佳化器中最佳化 CSV 表達式。它包括從 from_csv 中修剪不必要的欄位。

是否在 SQL 最佳化器中最佳化 JSON 表達式。它包括從 from_json 中修剪不必要的欄位，簡化 from_json + to_json、to_json + named_struct(from_json.col1, from_json.col2, ....)。

設定在最佳化器中要停用的規則清單，其中規則以其規則名稱指定並以逗號分隔。無法保證此設定中的所有規則最終都會被排除，因為某些規則對於正確性是必要的。最佳化器會記錄實際已排除的規則。

Bloom 篩選器應用程式側計畫的彙總掃描大小的位元組大小閾值。Bloom 篩選器應用程式側的彙總掃描位元組大小需要超過此值才能注入 Bloom 篩選器。

Bloom 篩選器建立側計畫的大小閾值。估計大小需要低於此值才能嘗試注入 Bloom 篩選器。

為 true 且如果洗牌聯結的一側具有選擇性謂詞時，我們會嘗試在另一側插入 Bloom 篩選器以減少洗牌資料量。

執行時期 Bloom 篩選器的預期項目預設數量

執行時期 Bloom 篩選器要使用的最大位元數

執行時期 Bloom 篩選器的允許最大預期項目數量

執行時期 Bloom 篩選器要使用的預設位元數

針對基於群組的列級操作啟用執行時期群組篩選。取代資料群組的資料來源（例如檔案、分割區）可以在規劃列級操作掃描時，使用提供的資料來源篩選器來修剪整個群組。然而，此類篩選受到限制，因為並非所有表達式都能轉換成資料來源篩選器，而且某些表達式只能由 Spark 評估（例如子查詢）。由於重寫群組很耗費資源，因此 Spark 可以執行查詢以在執行時期找出哪些記錄符合列級操作的條件。關於相符記錄的資訊將傳回列級操作掃描，讓資料來源可以捨棄不必重寫的群組。

單一查詢中注入的執行時期篩選器（非 DPP）總數。這是為了防止驅動程式因過多 Bloom 篩選器而發生 OOM。

如果為 true，且混洗聯結的一方具有選擇性謂詞，我們會嘗試在另一方插入半聯結，以減少混洗資料的數量。

如果為 true，則會將聚合推送到 ORC 以進行最佳化。支援 MIN、MAX 和 COUNT 作為聚合運算式。對於 MIN/MAX，支援布林值、整數、浮點數和日期類型。對於 COUNT，支援所有資料類型。如果任何 ORC 檔案尾端缺少統計資料，就會擲回例外狀況。

要包含在 orc 向量化讀取批次中的列數。應仔細選擇這個數字，以將開銷減至最低，並避免在讀取資料時發生 OOM。

要包含在 orc 向量化寫入批次中的列數。應仔細選擇這個數字，以將開銷減至最低，並避免在寫入資料時發生 OOM。

設定寫入 ORC 檔案時使用的壓縮編解碼器。如果在特定於資料表的選項/屬性中指定了 compression 或 orc.compress，優先順序將為 compression、orc.compress、spark.sql.orc.compression.codec。可接受的值包括：none、uncompressed、snappy、zlib、lzo、zstd、lz4。

為巢狀欄位啟用向量化 orc 解碼。

啟用向量化 orc 解碼。

如果為 true，則為 ORC 檔案啟用篩選推播。

如果為 true，則 Orc 資料來源會合併從所有資料檔案收集的架構，否則會從隨機資料檔案中挑選架構。

如果為 true，則序號會視為在選取清單中的位置。如果為 false，則會忽略 order/sort by 子句中的序號。

如果為 true，則會將聚合推送到 Parquet 以進行最佳化。支援 MIN、MAX 和 COUNT 作為聚合運算式。對於 MIN/MAX，支援布林值、整數、浮點數和日期類型。對於 COUNT，支援所有資料類型。如果任何 Parquet 檔案尾端缺少統計資料，就會擲回例外狀況。

其他一些產生 Parquet 的系統，特別是 Impala 和舊版本的 Spark SQL，在寫出 Parquet 架構時不會區分二進位資料和字串。這個旗標會指示 Spark SQL 將二進位資料解譯為字串，以提供與這些系統的相容性。

要包含在 parquet 向量化讀取批次中的列數。應仔細選擇這個數字，以將開銷減至最低，並避免在讀取資料時發生 OOM。

設定寫入 Parquet 檔案時使用的壓縮編解碼器。如果在特定於表格的選項/屬性中指定了 compression 或 parquet.compression，優先順序將為 compression、parquet.compression、spark.sql.parquet.compression.codec。可接受的值包括：none、uncompressed、snappy、gzip、lzo、brotli、lz4、lz4raw、lz4_raw、zstd。

為巢狀欄位（例如結構、清單、映射）啟用向量化 Parquet 解碼。需要啟用 spark.sql.parquet.enableVectorizedReader。

啟用向量化 Parquet 解碼。

欄位 ID 是 Parquet 結構規範的原生欄位。啟用後，Parquet 讀取器將使用請求的 Spark 結構規範中的欄位 ID（如果存在）來查詢 Parquet 欄位，而不是使用欄位名稱

當 Parquet 檔案沒有任何欄位 ID，但 Spark 讀取結構規範使用欄位 ID 進行讀取時，如果啟用此標記，我們將靜默傳回 Null，否則會傳回錯誤。

欄位 ID 是 Parquet 結構規範的原生欄位。啟用後，Parquet 寫入器將填入 Spark 結構規範中欄位 ID 的元資料（如果存在）至 Parquet 結構規範。

設定為 true 時，啟用 Parquet 篩選下推最佳化。

啟用後，在結構規範推論期間，註解 isAdjustedToUTC = false 的 Parquet 時間戳記欄位會推論為 TIMESTAMP_NTZ 類型。否則，所有 Parquet 時間戳記欄位都會推論為 TIMESTAMP_LTZ 類型。請注意，Spark 會在寫入檔案時將輸出結構規範寫入 Parquet 的頁尾元資料，並在讀取檔案時利用它。因此，此組態只會影響並非由 Spark 寫入的 Parquet 檔案的結構規範推論。

某些產生 Parquet 的系統，特別是 Impala，會將時間戳記儲存在 INT96 中。Spark 也會將時間戳記儲存在 INT96 中，因為我們需要避免奈秒欄位的精度損失。此標記會指示 Spark SQL 將 INT96 資料解譯為時間戳記，以與這些系統相容。

這會控制是否應將時間戳記調整套用到 INT96 資料，以便將 Impala 寫入的資料轉換為時間戳記。這是必要的，因為 Impala 會使用與 Hive 和 Spark 不同的時區偏移量來儲存 INT96 資料。

如果為 true，Parquet 資料來源會合併從所有資料檔案收集的結構規範，否則會從摘要檔案或隨機資料檔案（如果沒有摘要檔案）中選取結構規範。

設定 Spark 將資料寫入 Parquet 檔案時要使用的 Parquet 時間戳記類型。INT96 是 Parquet 中的非標準但常用的時間戳記類型。TIMESTAMP_MICROS 是 Parquet 中的標準時間戳記類型，用於儲存自 Unix 紀元以來的微秒數。TIMESTAMP_MILLIS 也是標準的，但具有毫秒精度，這表示 Spark 必須截斷其時間戳記值的微秒部分。

如果為 true，則使用推入式篩選條件啟用 Parquet 的原生記錄層級篩選。此設定僅在啟用「spark.sql.parquet.filterPushdown」且未使用向量化讀取器時有效。您可以透過將「spark.sql.parquet.enableVectorizedReader」設定為 false 來確保不使用向量化讀取器。

如果為 true，我們假設 Parquet 的所有部分檔案都與摘要檔案一致，而且我們在合併架構時會忽略它們。否則，如果為 false（預設值），我們會合併所有部分檔案。這應視為僅限專家使用的選項，而且不應在確切了解其含義之前啟用。

如果為 true，資料將以 Spark 1.4 及更早版本的方式寫入。例如，十進位數值將以 Apache Parquet 的固定長度位元組陣列格式寫入，這是 Apache Hive 和 Apache Impala 等其他系統所使用的格式。如果為 false，將使用 Parquet 中較新的格式。例如，十進位數將以基於整數的格式寫入。如果 Parquet 輸出預計會與不支援此較新格式的系統搭配使用，請設定為 true。

如果為 true，SELECT 陳述式中的引號識別碼（使用反引號）將被解釋為正規表示式。

在未為樞紐欄位指定值的情況下執行樞紐時，這是將收集的最大（相異）值數，且不會產生錯誤。

PySpark 的 SparkSession.createDataFrame 預設會將巢狀字典推論為映射。當設定為 true 時，它會將巢狀字典推論為結構。

如果為 true，它會在使用者介面的 PySpark 例外狀況中顯示 JVM 堆疊追蹤，以及 Python 堆疊追蹤。預設情況下，它會停用以隱藏 JVM 堆疊追蹤，並只顯示對 Python 友善的例外狀況。請注意，這與記錄層級設定無關。

PySpark 的 SparkSession.createDataFrame 預設會從陣列中的所有值推論陣列的元素類型。如果將此設定設為 true，它會還原僅從第一個陣列元素推論類型的舊有行為。

為 true 時，Spark 會在讀取 CHAR 類型的欄位/欄位時套用字串填補，除了寫入端的填補之外。此設定預設為 true，以在外部表格等情況中更好地強制執行 CHAR 類型的語意。

正規表示式用於判斷 Spark SQL 命令選項對應中哪些金鑰包含機密資訊。名稱符合此正規表示式的選項值會在 explain 輸出中進行編輯。此編輯套用在 spark.redaction.regex 定義的全球編輯設定之上。

正規表示式用於判斷 Spark 產生的字串中哪些部分包含機密資訊。當此正規表示式符合字串部分時，該字串部分會被替換為虛擬值。此功能目前用於編輯 SQL explain 命令的輸出。當此設定未設定時，會使用 spark.redaction.string.regex 的值。

啟用或停用熱切評估。為 true 時，只有當 REPL 支援熱切評估時，才會顯示 Dataset 的前 K 列。目前，熱切評估在 PySpark 和 SparkR 中受支援。在 PySpark 中，對於像 Jupyter 這樣的筆記本，會傳回 HTML 表格（由 repr_html 產生）。對於純 Python REPL，傳回的輸出會以 dataframe.show() 格式化。在 SparkR 中，傳回的輸出會以類似 R data.frame 的方式顯示。

熱切評估傳回的最大列數。此設定僅在 spark.sql.repl.eagerEval.enabled 設為 true 時才會生效。此設定的有效範圍為 0 到 (Int.MaxValue - 1)，因此無效設定（例如負數和超過 (Int.MaxValue - 1)）會標準化為 0 和 (Int.MaxValue - 1)。

熱切評估傳回的每個儲存格的最大字元數。此設定僅在 spark.sql.repl.eagerEval.enabled 設為 true 時才會生效。

序列化後，驅動程式端快取的本地關聯大小（以位元組為單位）的臨界值。

以區域為基礎的時區 ID 或時區偏移量格式表示的會話當地時區 ID。區域 ID 必須採用「區域/城市」格式，例如「America/Los_Angeles」。時區偏移量必須採用「(+|-)HH」、「(+|-)HH:mm」或「(+|-)HH:mm:ss」格式，例如「-08」、「+01:00」或「-13:33:33」。此外，也支援「UTC」和「Z」作為「+00:00」的別名。不建議使用其他簡稱，因為它們可能會造成歧義。

在為聯結或聚合整理資料時要使用的預設分割區數目。注意：對於結構化串流，無法在從同一個檢查點位置重新啟動查詢之間變更此組態。

如果小型側資料大小乘上此因子後仍然小於大型側，則可以選取整理雜湊聯結。

如果為 true，則會根據查詢計畫自動決定是否對輸入資料表執行分桶掃描。如果 1. 查詢沒有運算子可以使用分桶（例如聯結、群組依據等），或 2. 這些運算子與資料表掃描之間有一個交換運算子，則不要使用分桶掃描。請注意，當「spark.sql.sources.bucketing.enabled」設為 false 時，此組態不會產生任何效果。

如果為 false，我們會將分桶資料表視為一般資料表

允許的最大分桶數目。

在輸入/輸出中要使用的預設資料來源。

在驅動程式端列出檔案時允許的最大路徑數目。如果在分割區偵測期間，偵測到的路徑數目超過此值，它會嘗試使用另一個 Spark 分散式工作列出檔案。此組態僅在使用基於檔案的來源（例如 Parquet、JSON 和 ORC）時有效。

如果為 true，則會自動推論分割欄的資料類型。

當 INSERT OVERWRITE 分割資料來源表格時，我們目前支援 2 種模式：靜態和動態。在靜態模式中，Spark 會在覆寫前刪除與 INSERT 陳述式中分割規格 (例如 PARTITION(a=1,b)) 相符的所有分割。在動態模式中，Spark 不會預先刪除分割，只會覆寫在執行時期寫入資料的分割。預設情況下，我們使用靜態模式來維持 Spark 在 2.3 之前的相同行為。請注意，此組態不會影響 Hive serde 表格，因為它們總是使用動態模式覆寫。這也可以設定為資料來源的輸出選項，使用 key partitionOverwriteMode (優先於此設定)，例如 dataframe.write.option("partitionOverwriteMode", "dynamic").save(path)。

類似於 spark.sql.sources.bucketing.enabled，此組態用於啟用 V2 資料來源的區塊化。開啟時，Spark 會透過 SupportsReportPartitioning 辨識 V2 資料來源報告的特定分佈，並會在必要時嘗試避免洗牌。

在儲存體分割連接期間，當連接的兩側都是 KeyGroupedPartitioning 時，是否允許輸入分割部分群集化。在規劃時間，Spark 會根據表格統計資料選擇資料大小較小的側，將其群組並複製以符合另一側。這是對傾斜連接的最佳化，並有助於減少資料傾斜，當某些分割被指定大量資料時。此組態需要同時啟用 spark.sql.sources.v2.bucketing.enabled 和 spark.sql.sources.v2.bucketing.pushPartValues.enabled

當啟用 spark.sql.sources.v2.bucketing.enabled 時，是否推播常見分割值。開啟時，如果連接的兩側都是 KeyGroupedPartitioning，且它們共用相容的分割金鑰，即使它們沒有完全相同的分割值，Spark 會計算分割值的超集，並將該資訊推播至掃描節點，這些節點會使用兩側遺失分割值的空分割。這有助於消除不必要的洗牌

為 true 時，如果無法從表格中取得表格統計資料，它會回退至 HDFS。這有助於判斷表格是否夠小到可以使用廣播連接。此旗標僅對非分割 Hive 表格有效。對於非分割資料來源表格，如果無法取得表格統計資料，它會自動重新計算。對於分割資料來源和分割 Hive 表格，如果無法取得表格統計資料，它會是 'spark.sql.defaultSizeInBytes'。

如果已啟用，在計算欄位統計資料時會產生直方圖。直方圖可以提供更好的估計準確度。目前，Spark 僅支援等高直方圖。請注意，收集直方圖需要額外的成本。例如，收集欄位統計資料通常只需掃描一次表格，但產生等高直方圖會導致額外掃描一次表格。

當表格資料變更時，啟用表格大小的自動更新。請注意，如果表格的總檔案數目非常大，這可能會很花費成本，並降低資料變更指令的速度。

在將值插入具有不同資料類型的欄位時，Spark 會執行類型強制轉換。目前，我們支援類型強制轉換規則的 3 種政策：ANSI、舊版和嚴格。透過 ANSI 政策，Spark 會根據 ANSI SQL 執行類型強制轉換。在實務上，行為大多與 PostgreSQL 相同。它不允許某些不合理的類型轉換，例如將 string 轉換為 int 或將 double 轉換為 boolean。透過舊版政策，只要是有效的 Cast，Spark 就允許類型強制轉換，這非常寬鬆。例如，允許將 string 轉換為 int 或將 double 轉換為 boolean。它也是 Spark 2.x 中唯一的行為，且與 Hive 相容。透過嚴格政策，Spark 不允許類型強制轉換中任何可能的精度損失或資料截斷，例如，不允許將 double 轉換為 int 或將 decimal 轉換為 double。

用於儲存串流查詢檢查點資料的預設位置。

儲存在佇列中以等待較晚時期的最大項目數。如果佇列的大小超過此參數，串流會停止並顯示錯誤訊息。

已停用 StreamWriteSupport 的完全限定資料來源註冊類別名稱的逗號分隔清單。寫入這些來源會回退到 V1 Sinks。

檔案來源已完成檔案清除程式中使用的執行緒數目。

如果為 true，則啟用暫時檢查點位置強制刪除。

是否會針對主動串流查詢報告 Dropwizard/Codahale 指標。

在串流查詢中有多個浮水印運算子時，計算全域浮水印值的政策。預設值為「min」，會選取多個運算子所報告的最小浮水印。其他替代值為「max」，會選取多個運算子所報告的最大浮水印。注意：此組態無法在從相同檢查點位置重新啟動查詢之間變更。

串流微批次引擎是否會執行沒有資料的批次，以進行有狀態串流查詢的積極狀態管理。

保留串流查詢進度更新的數量

如果為 true，串流會話視窗會在洗牌之前，在本地分割區中排序和合併會話。這是為了減少要洗牌的行數，但僅在批次中有許多行被指定到相同會話時才會有幫助。

如果為 true，Spark 會根據現有狀態的架構驗證狀態架構，如果不相容，則會讓查詢失敗。

不支援同時執行同一個串流查詢的多次執行。如果我們發現串流查詢的並行主動執行（在同一個叢集中的同一個或不同的 SparkSessions 中），而且這個旗標為 true，我們會停止舊的串流查詢執行，以開始新的執行。

呼叫串流查詢的 stop() 方法時，以毫秒為單位等待串流執行緒停止的時間長度。0 或負值會無限期等待。

如果為 true，如果有人取消查詢，所有正在執行的任務都會中斷。如果為 false，所有正在執行的任務都會繼續執行，直到完成。

在 Thrift Server 中設定查詢持續時間逾時（以秒為單位）。如果逾時設定為正值，執行中的查詢會在逾時後自動取消，否則查詢會繼續執行，直到完成。如果透過 java.sql.Statement.setQueryTimeout 為每個陳述式設定逾時值，而且這些值小於這個組態值，則這些值會優先。如果您設定這個逾時，而且偏好立即取消查詢，而不等待任務完成，請考慮同時啟用 spark.sql.thriftServer.interruptOnCancel。

為 JDBC 用戶端會話設定公平排程器池。

JDBC/ODBC 網路使用者介面歷程記錄中保留的 SQL 用戶端工作階段數目。

JDBC/ODBC 網路使用者介面歷程記錄中保留的 SQL 陳述數目。

設定 Spark SQL 的預設時間戳記類型，包括 SQL DDL、Cast 子句、類型文字和資料來源的架構推論。將設定設為 TIMESTAMP_NTZ 會使用 TIMESTAMP WITHOUT TIME ZONE 作為預設類型，而將其設為 TIMESTAMP_LTZ 則會使用 TIMESTAMP WITH LOCAL TIME ZONE。在 3.4.0 版本之前，Spark 僅支援 TIMESTAMP WITH LOCAL TIME ZONE 類型。

若為 true，則允許表格值函數使用多個表格引數，接收這些表格所有列的笛卡兒積。

設定 Spark SQL 使用者介面中使用的查詢說明模式。值可以是「simple」、「extended」、「codegen」、「cost」或「formatted」。預設值為「formatted」。

這會啟用使用類似於 ${var}、${system:var} 和 ${env:var} 的語法進行替換。

實作 org.apache.spark.sql.columnar.CachedBatchSerializer 的類別名稱。它將用於將 SQL 資料轉換成可以更有效率快取的格式。基礎 API 可能會變更，因此請小心使用。無法指定多個類別。該類別必須具備無引數建構函式。

工作階段目錄的預設資料庫。

SQL 長度的臨界值，超過此臨界值後，將在加入事件之前將其截斷。預設為不截斷。如果設為 0，則會記錄呼叫位置。

實作 Function1[SparkSessionExtensions, Unit] 的類別清單，用於設定 Spark 工作階段延伸模組。這些類別必須具備無引數建構函式。如果指定多個延伸模組，則會按指定的順序套用它們。對於規則和規劃策略，它們會按指定的順序套用。對於剖析器，則會使用最後一個剖析器，而每個剖析器都可以委派給其前一個剖析器。對於函數名稱衝突，則會使用最後一個註冊的函數名稱。

類別前綴的逗號分隔清單，應該針對 Spark SQL 與之通訊的每個 Hive 版本明確重新載入。例如，在通常會共用的前綴中宣告的 Hive UDF（例如 org.apache.spark.*）。

用於建立 HiveMetastoreClient 的 jar 位置。此屬性可以是四個選項之一：1. 「內建」使用 Hive 2.3.9，當啟用 -Phive 時，會與 Spark 組合打包。當選擇此選項時，spark.sql.hive.metastore.version 必須是 2.3.9 或未定義。2. 「maven」使用從 Maven 儲存庫下載的指定版本 Hive jar。3. 「路徑」使用以逗號分隔格式由 spark.sql.hive.metastore.jars.path 設定的 Hive jar。支援本機或遠端路徑。提供的 jar 應與 spark.sql.hive.metastore.version 相同版本。4. Hive 和 Hadoop 的標準格式類別路徑。提供的 jar 應與 spark.sql.hive.metastore.version 相同版本。

用於建立 HiveMetastoreClient 的 jar 的逗號分隔路徑。此設定僅在 spark.sql.hive.metastore.jars 設定為 path 時才有用。路徑可以是下列任何格式：1. file://path/to/jar/foo.jar 2. hdfs://nameservice/path/to/jar/foo.jar 3. /path/to/jar/（沒有 URI 架構的路徑遵循 conf fs.defaultFS 的 URI 架構）4. [http/https/ftp]://path/to/jar/foo.jar 請注意，1、2 和 3 支援萬用字元。例如：1. file://path/to/jar/,file://path2/to/jar//.jar 2. hdfs://nameservice/path/to/jar/,hdfs://nameservice2/path/to/jar//.jar

應使用 Spark SQL 和特定版本的 Hive 共用的類別載入程式載入的類別字首的逗號分隔清單。應共用的類別範例是與資料倉儲通訊所需的 JDBC 驅動程式。其他需要共用的類別是與已共用的類別互動的類別。例如，log4j 使用的客製化附加程式。

Hive 資料倉儲版本。可用的選項為 0.12.0 至 2.3.9，以及 3.0.0 至 3.1.3。

設定為 true 時，Hive Thrift 伺服器會以單一工作階段模式執行。所有 JDBC/ODBC 連線會共用暫時檢視、函數註冊、SQL 設定和目前資料庫。

與 Spark 散佈套件內建的已編譯 Hive 版本，又稱內建版本。請注意，這是一個唯讀設定，僅用於報告內建的 Hive 版本。如果您要 Spark 呼叫不同的資料倉儲用戶端，請參閱 spark.sql.hive.metastore.version。

資料倉儲快取的到期時間 (TTL) 值：分割檔案資料倉儲快取和工作階段目錄快取。此設定僅在這個值為正值 (> 0) 時才會生效。它還需要將 'spark.sql.catalogImplementation' 設定為 hive，將 'spark.sql.hive.filesourcePartitionFileCacheSize' 設定為 > 0，並將 'spark.sql.hive.manageFilesourcePartitions' 設定為 true，才能套用於分割檔案資料倉儲快取。

實作 QueryExecutionListener 的類別名稱清單，將自動新增至新建立的階段。這些類別應具有無引數建構函式，或預期 SparkConf 引數的建構函式。

設定已停用的 JDBC 連線提供者清單。清單包含以逗號分隔的 JDBC 連線提供者名稱。

實作 StreamingQueryListener 的類別名稱清單，將自動新增至新建立的階段。這些類別應具有無引數建構函式，或預期 SparkConf 引數的建構函式。

當 Spark 網頁 UI 已啟用時，是否為 Spark 應用程式執行結構化串流網頁 UI。

為結構化串流 UI 保留串流查詢的進度更新數量。

為結構化串流 UI 保留非活動查詢的數量。

在 Spark UI 中保留的執行次數。

受管理資料庫和資料表的預設位置。