Apache Spark™ 文件

以下提供每個 Spark 穩定版本的設定說明、程式設計指南和其他文件

• Spark 3.5.1
• Spark 3.5.0
• Spark 3.4.3
• Spark 3.4.2
• Spark 3.4.1
• Spark 3.4.0
• Spark 3.3.4
• Spark 3.3.3
• Spark 3.3.2
• Spark 3.3.1
• Spark 3.3.0
• Spark 3.2.4
• Spark 3.2.3
• Spark 3.2.2
• Spark 3.2.1
• Spark 3.2.0
• Spark 3.1.3
• Spark 3.1.2
• Spark 3.1.1
• Spark 3.0.3
• Spark 3.0.2
• Spark 3.0.1
• Spark 3.0.0
• Spark 2.4.8
• Spark 2.4.7
• Spark 2.4.6
• Spark 2.4.5
• Spark 2.4.4
• Spark 2.4.3
• Spark 2.4.2
• Spark 2.4.1
• Spark 2.4.0
• Spark 2.3.4
• Spark 2.3.3
• Spark 2.3.2
• Spark 2.3.1
• Spark 2.3.0
• Spark 2.2.3
• Spark 2.2.2
• Spark 2.2.1
• Spark 2.2.0
• Spark 2.1.3
• Spark 2.1.2
• Spark 2.1.1
• Spark 2.1.0
• Spark 2.0.2
• Spark 2.0.1
• Spark 2.0.0
• Spark 1.6.3
• Spark 1.6.2
• Spark 1.6.1
• Spark 1.6.0
• Spark 1.5.2
• Spark 1.5.1
• Spark 1.5.0
• Spark 1.4.1
• Spark 1.4.0
• Spark 1.3.1
• Spark 1.3.0
• Spark 1.2.1
• Spark 1.1.1
• Spark 1.0.2
• Spark 0.9.2
• Spark 0.8.1
• Spark 0.7.3
• Spark 0.6.2

預覽版本文件

• Spark 3.0.0 預覽版 2
• Spark 3.0.0 預覽版
• Spark 2.0.0 預覽版

以上連結的文件包含 Spark 入門指南，以及內建元件 MLlib、Spark Streaming 和 GraphX。

此外，此頁面也列出其他學習 Spark 的資源。

影片

請參閱 Apache Spark YouTube 頻道，以觀看 Spark 活動影片。針對不同主題的影片，有不同的 播放清單。除了瀏覽播放清單，您也可以在下方找到影片的直接連結。

螢幕錄製教學影片

• 螢幕錄製 1：Spark 入門
• 螢幕錄製 2：Spark 文件概觀
• 螢幕錄製 3：轉換和快取
• 螢幕錄製 4：Scala 中的 Spark 獨立作業

Spark 高峰會影片

• 2014 年 Spark 高峰會影片，舊金山，2013 年 6 月 30 日至 7 月 2 日
  • 完整議程，包含所有影片和投影片連結
  • 訓練影片和投影片
• 2013 年 Spark 高峰會影片，舊金山，2013 年 12 月 2 日至 3 日
  • 完整議程，包含所有影片和投影片連結
  • 所有主題演講的 YouTube 播放清單
  • 軌道 A（Spark 應用程式）的 YouTube 播放清單
  • 軌道 B（Spark 部署、排程和效能，相關專案）的 YouTube 播放清單
  • 訓練日的 YouTube 播放清單（即高峰會的第二天）

聚會演講影片

除了下方列出的影片，您也可以在此處觀看 所有灣區聚會投影片。

• Spark 1.0 及後續版本（投影片）Patrick Wendell，2014 年 4 月 23 日於聖荷西的思科
• 使用 Catalyst 為 Spark 加入原生 SQL 支援（投影片）Michael Armbrust，2014 年 4 月 8 日於舊金山的 Tagged
• SparkR 和 GraphX（投影片：SparkR，GraphX）Shivaram Venkataraman 和 Dan Crankshaw，2014 年 3 月 25 日於柏克萊的 SkyDeck
• 使用 SIMR 進行簡單部署，以及使用 TGF 進行進階 Shark 分析（投影片）Ali Ghodsi，2014 年 2 月 5 日於聖塔克拉拉的華為
• 商店、單元和依賴性注入 - Spark 抽象 (投影片) 由 Ryan Weald，於 2014-01-17 在舊金山的 Sharethrough 發表
• 使用 MLbase 進行分散式機器學習 (投影片) 由 Evan Sparks 和 Ameet Talwalkar，於 2013-08-06 在舊金山的 Twitter 發表
• GraphX 預覽：Spark 上的圖形分析 由 Reynold Xin 和 Joseph Gonzalez，於 2013-07-02 在舊金山的 Flurry 發表
• Spark 串流深入探討 (投影片) 由 Tathagata Das，於 2013-06-17 在桑尼維爾的 Plug and Play 發表
• Tachyon 和 Shark 更新 (投影片：Shark，Tachyon) 由 Ali Ghodsi、Haoyuan Li、Reynold Xin，於 2013-05-09 在 Google Ventures 發表
• Spark 0.7：概觀、pySpark 和串流 由 Matei Zaharia、Josh Rosen、Tathagata Das，於 2013-02-21 在 Conviva 發表
• Spark 內部結構簡介 (投影片) 由 Matei Zaharia，於 2012-12-18 在桑尼維爾的 Yahoo 發表

訓練教材

• Spark Summit 2014 的訓練教材和練習已上線。其中包括演講的影片和投影片，以及您可以在筆記型電腦上執行的練習。主題包括 Spark 核心、調整和除錯、Spark SQL、Spark 串流、GraphX 和 MLlib。
• Spark Summit 2013 包含一場訓練課程，其投影片和影片可在 訓練日行程 上取得。課程中也包含 練習，您可以在 Amazon EC2 上執行。
• 加州大學柏克萊分校 AMPLab 定期舉辦 Spark 和相關專案的訓練營。每場訓練營的投影片、影片和基於 EC2 的練習都可在網路上取得
  • AMP Camp 4（2014 年 2 月，Strata Santa Clara）—重點在 BlinkDB、MLlib、GraphX、Tachyon
  • AMP Camp 3（2013 年 8 月，加州柏克萊）
  • AMP Camp 2（2013 年 2 月，Strata Santa Clara）
  • AMP Camp 1（2012 年 8 月，加州柏克萊）

動手練習

• Spark Summit 2014 的動手練習。這些練習讓您在筆記型電腦上安裝 Spark，並了解基本概念、Spark SQL、Spark Streaming、GraphX 和 MLlib。
• Spark Summit 2013 的動手練習。這些練習讓您啟動小型 EC2 集群、載入資料集，並使用 Spark、Shark、Spark Streaming 和 MLlib 查詢資料集。

外部教學課程、部落格文章和演講

• 使用 Spark 與 MongoDB — Wellmo 的 Sampo Niskanen
• Spark Summit 2013 — 包含 30 場關於 Spark 使用案例的演講，提供投影片和影片
• 強大的大數據三人組：Spark、Parquet 和 Avro — Matt Massie 說明在 Spark 中使用 Parquet
• 使用 Cassandra、Spark 和 Shark 進行即時分析 — Ooyala 的 Evan Chan 在 2013 Cassandra Summit 的簡報
• 在 Amazon Elastic MapReduce 上執行 Spark 和 Shark — Amazon Elastic MapReduce 團隊成員 Parviz Deyhim 的文章
• Spark，快速資料分析的替代方案 — IBM Developer Works 的 M. Tim Jones 文章

書籍

• 學習 Spark，Holden Karau、Andy Konwinski、Patrick Wendell 和 Matei Zaharia 著（O'Reilly Media）
• Spark 實戰，Marko Bonaci 和 Petar Zecevic 著（Manning）
• 使用 Spark 進行進階分析，Juliet Hougland、Uri Laserson、Sean Owen、Sandy Ryza 和 Josh Wills 著（O'Reilly Media）
• Spark GraphX 實戰，Michael Malak 著（Manning）
• 使用 Spark 進行快速資料處理，Krishna Sankar 和 Holden Karau 著（Packt Publishing）
• 使用 Spark 進行機器學習，Nick Pentreath 著（Packt Publishing）
• Spark 食譜，Rishi Yadav 著（Packt Publishing）
• Apache Spark Graph Processing，作者：Rindra Ramamonjison（Packt Publishing）
• Mastering Apache Spark，作者：Mike Frampton（Packt Publishing）
• Big Data Analytics with Spark：使用 Spark 進行大規模資料分析的實務指南，作者：Mohammed Guller（Apress）
• Large Scale Machine Learning with Spark，作者：Md. Rezaul Karim、Md. Mahedi Kaysar（Packt Publishing）
• Big Data Analytics with Spark and Hadoop，作者：Venkat Ankam（Packt Publishing）

範例

• Spark 範例頁面顯示 Scala、Java 和 Python 中的基本 API。

研究論文

Spark 最初是作為加州大學柏克萊分校的研究專案開發，大部分設計都記載在論文中。研究頁面列出一些最初的動機和方向。