Flume是什么框架

Apache Flume 是一個從可以收集例如日志，事件等數據資源，并將這些數量龐大的數據從各項數據資源中集中起來存儲的工具/服務，或者數集中機制。具有高可用，分布式，配置工具，其設計的原理也是基于將數據流。

Apache Flume 是一個從可以收集例如日志，事件等數據資源，并將這些數量龐大的數據從各項數據資源中集中起來存儲的工具/服務，或者數集中機制。flume 具有高可用，分布式，配置工具，其設計的原理也是基于將數據流，如日志數據從各種網站服務器上匯集起來存儲到 HDFS，HBase 等集中存儲器中。

flume 是由 cloudera 軟件公司產出的可分布式日志收集系統，后與 2009 年被捐贈了 apache 軟件基金會，為 hadoop 相關組件之一。尤其近幾年隨著 flume 的不斷被完善以及升級版本的逐一推出，特別是 flume-ng;同時 flume 內部的各種組件不斷豐富，用戶在開發的過程中使用的便利性得到很大的改善，現已成為 apache top 項目之一。

Flume 應用場景

比如我們在做一個電子商務網站，然后我們想從消費用戶中訪問點特定的節點區域來分析消費者的行為或者購買意圖. 這樣我們就可以更加快速的將他想要的推送到界面上，實現這一點，我們需要將獲取到的她訪問的頁面以及點擊的產品數據等日志數據信息收集并移交給 Hadoop 平臺上去分析.而 Flume 正是幫我們做到這一點?，F在流行的內容推送，比如廣告定點投放以及新聞私人定制也是基于次，不過不一定是使用 FLume,畢竟優秀的產品很多，比如 facebook 的 Scribe，還有 Apache 新出的另一個明星項目 chukwa，還有淘寶 Time Tunnel。

Flume 的優勢

1. ?Flume 可以將應用產生的數據存儲到任何集中存儲器中，比如 HDFS,HBase

2. ?當收集數據的速度超過將寫入數據的時候，也就是當收集信息遇到峰值時，這時候收集的信息非常大，甚至超過了系統的寫入數據能力，這時候，Flume 會在數據生產者和數據收容器間做出調整，保證其能夠在兩者之間提供一共平穩的數據.

3. ? 提供上下文路由特征

4. ? Flume 的管道是基于事務，保證了數據在傳送和接收時的一致性.

5. ? Flume 是可靠的，容錯性高的，可升級的，易管理的,并且可定制的。

4. Flume 具有的特征：

1. Flume 可以高效率的將多個網站服務器中收集的日志信息存入 HDFS/HBase 中

2. 使用 Flume，我們可以將從多個服務器中獲取的數據迅速的移交給 Hadoop 中

3. 除了日志信息，Flume 同時也可以用來接入收集規模宏大的社交網絡節點事件數據，比如 facebook,twitter,電商網站如亞馬遜，flipkart 等

4. 支持各種接入資源數據的類型以及接出數據類型

5. 支持多路徑流量，多管道接入流量，多管道接出流量，上下文路由等

6. 可以被水平擴展