Spark是什么意思

Apache Spark是一個開源集群運算框架，相對于Hadoop的MapReduce會在運行完工作后將中介數據存放到磁盤中，Spark使用了存儲器內運算技術，能在數據尚未寫入硬盤時即在存儲器內分析運算。

Apache Spark 是一個開源集群運算框架，最初是由加州大學柏克萊分校 AMPLab 所開發。相對于 Hadoop 的 MapReduce 會在運行完工作后將中介數據存放到磁盤中，Spark 使用了存儲器內運算技術，能在數據尚未寫入硬盤時即在存儲器內分析運算。

Spark 在存儲器內運行程序的運算速度能做到比 Hadoop MapReduce 的運算速度快上 100 倍，即便是運行程序于硬盤時，Spark 也能快上 10 倍速度。Spark 允許用戶將數據加載至集群存儲器，并多次對其進行查詢，非常適合用于機器學習算法。

使用 Spark 需要搭配集群管理員和分布式存儲系統。Spark 支持獨立模式（本地 Spark 集群）、Hadoop YARN 或 Apache Mesos 的集群管理。在分布式存儲方面，Spark 可以和 Alluxio, HDFS、 Cassandra 、OpenStack Swift 和 Amazon S3 等接口搭載。 Spark 也支持偽分布式（pseudo-distributed）本地模式，不過通常只用于開發或測試時以本機文件系統取代分布式存儲系統。在這樣的情況下，Spark 僅在一臺機器上使用每個 CPU 核心運行程序。

在 2014 年有超過 465 位貢獻家投入 Spark 開發，讓其成為 Apache 軟件基金會以及大數據眾多開源項目中最為活躍的項目。

特色

• Java、Scala、Python 和 R APIs。
• 可擴展至超過 8000 個結點。
• 能夠在存儲器內緩存數據集以進行交互式數據分析。
• Scala 或 Python 中的交互式命令行接口可降低橫向擴展數據探索的反應時間。
• Spark Streaming 對即時數據流的處理具有可擴展性、高吞吐量、可容錯性等特點。
• Spark SQL 支持結構化和關系式查詢處理（SQL）。
• MLlib 機器學習算法和 Graphx 圖形處理算法的高端庫。

歷史

Spark 在 2009 年由 Matei Zaharia 在加州大學柏克萊分校 AMPLab 開創，2010 年透過 BSD 許可協議開源發布。2013 年，該項目被捐贈給 Apache 軟件基金會并切換許可協議至 Apache2.0。2014 年 2 月，Spark 成為 Apache 的頂級項目。2014 年 11 月，Databricks 團隊使用 Spark 刷新數據排序世界記錄。

項目構成要素

Spark 項目包含下列幾項:

Spark 核心和彈性分布式數據集（RDDs）

Spark 核心是整個項目的基礎，提供了分布式任務調度，調度和基本的 I／O 功能。而其基礎的程序抽象則稱為彈性分布式數據集（RDDs），是一個可以并行操作、有容錯機制的數據***。 RDDs 可以透過引用外部存儲系統的數據集創建（例如：共享文件系統、HDFS、HBase 或其他 Hadoop 數據格式的數據源）?；蛘呤峭高^在現有 RDDs 的轉換而創建（比如：map、filter、reduce、join 等等）。

RDD 抽象化是經由一個以 Scala,?Java,?Python 的語言集成 API 所呈現，簡化了編程復雜性，應用程序操縱 RDDs 的方法類似于操縱本地端的數據***。

Spark SQL

Spark SQL 在 Spark 核心上帶出一種名為 SchemaRDD 的數據抽象化概念，提供結構化和半結構化數據相關的支持。Spark SQL 提供了領域特定語言，可使用 Scala、Java 或 Python 來操縱 SchemaRDDs。它還支持使用使用命令行界面和 ODBC／JDBC 服務器操作 SQL 語言。在 Spark 1.3 版本，SchemaRDD 被重命名為 DataFrame。

Spark Streaming

Spark Streaming 充分利用 Spark 核心的快速調度能力來運行流分析。它截取小批量的數據并對之運行 RDD 轉換。這種設計使流分析可在同一個引擎內使用同一組為批量分析編寫而撰寫的應用程序代碼。

MLlib

MLlib 是 Spark 上分布式機器學習框架。Spark 分布式存儲器式的架構比 Hadoop 磁盤式的 Apache Mahout 快上 10 倍，擴展性甚至比 Vowpal Wabbit 要好。MLlib 可使用許多常見的機器學習和統計算法，簡化大規模機器學習時間，其中包括：

• 匯總統計、相關性、分層抽樣、假設檢定、隨機數據生成
• 分類與回歸：支持向量機、回歸、線性回歸、邏輯回歸、決策樹、樸素貝葉斯
• 協同過濾：ALS
• 分群：k-平均算法
• 維度約減：奇異值分解（SVD），主成分分析（PCA）
• 特征提取和轉換：TF-IDF、Word2Vec、StandardScaler
• 最優化：隨機梯度下降法（SGD）、L-BFGS

GraphX

GraphX 是 Spark 上的分布式圖形處理框架。它提供了一組 API，可用于表達圖表計算并可以模擬 Pregel 抽象化。GraphX 還對這種抽象化提供了優化運行。

GraphX 最初為加州大學柏克萊分校 AMPLab 和 Databricks 的研究項目，后來捐贈給 Spark 項目。