Kafka是什么

Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。 這種動作是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。

Kafka 是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。

對于像 Hadoop 一樣的日志數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka 的目的是通過 Hadoop 的并行加載機制來統一線上和離線的消息處理，也是為了通過集群來提供實時的消息。

Kafka 是由 Apache 軟件基金會開發的一個開源流處理平臺，由 Scala 和 Java 編寫。

Kafka 最初是由領英開發，并隨后于 2011 年初開源，并于 2012 年 10 月 23 日由 Apache Incubator 孵化出站。2014 年 11 月，幾個曾在領英為 Kafka 工作的工程師，創建了名為 Confluent 的新公司，并著眼于 Kafka。根據 2014 年 Quora 的帖子，Jay Kreps 似乎已經將它以作家弗朗茨·卡夫卡命名。Kreps 選擇將該系統以一個作家命名是因為，它是“一個用于優化寫作的系統”，而且他很喜歡卡夫卡的作品。

Kafka 存儲的消息來自任意多被稱為“生產者”（Producer）的進程。數據從而可以被分配到不同的“分區”（Partition）、不同的“Topic”下。在一個分區內，這些消息被索引并連同時間戳存儲在一起。其它被稱為“消費者”（Consumer）的進程可以從分區查詢消息。Kafka 運行在一個由一臺或多臺服務器組成的集群上，并且分區可以跨集群結點分布。

Kafka 高效地處理實時流式數據，可以實現與 Storm、HBase 和 Spark 的集成。作為聚類部署到多臺服務器上，Kafka 處理它所有的發布和訂閱消息系統使用了四個 API，即生產者 API、消費者 API、Stream API 和 Connector API。它能夠傳遞大規模流式消息，自帶容錯功能，已經取代了一些傳統消息系統，如 JMS、AMQP 等。

Kafka 架構的主要術語包括 Topic、Record 和 Broker。Topic 由 Record 組成，Record 持有不同的信息，而 Broker 則負責復制消息。Kafka 有四個主要 API：

• 生產者 API：支持應用程序發布 Record 流。
• 消費者 API：支持應用程序訂閱 Topic 和處理 Record 流。
• Stream API：將輸入流轉換為輸出流，并產生結果。
• Connector API：執行可重用的生產者和消費者 API，可將 Topic 鏈接到現有應用程序。

相關術語

• Topic 用來對消息進行分類，每個進入到 Kafka 的信息都會被放到一個 Topic 下
• Broker 用來實現數據存儲的主機服務器
• Partition 每個 Topic 中的消息會被分為若干個 Partition，以提高消息的處理效率
• Producer 消息的生產者
• Consumer 消息的消費者
• Consumer Group 消息的消費群組

Kafka 的性能

由于其廣泛集成到企業級基礎設施中，監測 Kafka 在規模運行中的性能成為一個日益重要的問題。監測端到端性能，要求跟蹤所有指標，包括 Broker、消費者和生產者。除此之外還要監測 ZooKeeper，Kafka 用它來協調各個消費者。當前有一些監測平臺可以跟蹤卡夫卡的性能，有開源的，如領英的 Burrow；也有付費的，如 Datadog。除了這些平臺之外，收集 Kafka 的數據也可以使用工具來進行，這些工具一般需要 Java，包括 JConsole。