環境\配置\命令

語言

Kafka在0.8.2.x版本中用java語言重寫了producer ProducerConfig.java

在0.9.0.x版本中用java重寫了consumer ConsumerConfig.java

剩余部分為Scala實現的 KafkaConfig.scala

命令

# 查看主題信息bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic topic_test2021# 修改主題分區數量(只能比之前的多)bin/kafka-topics.sh --alter  --zookeeper localhost:2181  --topic topic_test2021  --partitions 3

單機版配置示例 server.properties

broker.id=0  port=9092advertised.listeners=PLAINTEXT://47.107.139.101:9092num.network.threads=2  num.io.threads=8  socket.send.buffer.bytes=1048576  socket.receive.buffer.bytes=1048576  socket.request.max.bytes=104857600  log.dirs=/tmp/kafka-logs  num.partitions=2   log.retention.hours=168  log.segment.bytes=536870912  log.retention.check.interval.ms=60000  log.cleaner.enable=false  zookeeper.connect=localhost:2181  zookeeper.connection.timeout.ms=1000000offsets.topic.replication.factor=1

參數說明

broker配置參數參數  默認值 描述broker.id   -1　 每一個boker都有一個唯一的id作為它們的名字。當該服務器的IP地址發生改變時,broker.id沒有變化,則不會影響consumers的消息情況port    9092    broker server服務端口host.name   ""  broker的主機地址,若是設置了,那么會綁定到這個地址上,若是沒有,會綁定到所有的接口上,并將其中之一發送到ZKlog.dirs    /tmp/kafka-logs kafka數據的存放地址,多個地址的話用逗號分割,多個目錄分布在不同磁盤上可以提高讀寫性能  /data/kafka-logs-1,/data/kafka-logs-2message.max.bytes   1000012 表示消息體的最大大小,單位是字節num.network.threads 3   broker處理消息的最大線程數,一般情況下數量為cpu核數num.io.threads  8   處理IO的線程數log.flush.interval.messages Long.MaxValue   在數據被寫入到硬盤和消費者可用前最大累積的消息的數量log.flush.interval.ms   Long.MaxValue   在數據被寫入到硬盤前的最大時間log.flush.scheduler.interval.ms Long.MaxValue   檢查數據是否要寫入到硬盤的時間間隔。log.retention.hours 168 (24*7)  控制一個log保留多長個小時log.retention.bytes -1  控制log文件最大尺寸log.cleaner.enable  false   是否log cleaninglog.cleanup.policy  delete　 delete還是compat.log.segment.bytes   1073741824  單一的log segment文件大小log.roll.hours  168 開始一個新的log文件片段的最大時間background.threads  10  后臺線程序num.partitions  1   默認分區數socket.send.buffer.bytes    102400  socket SO_SNDBUFF參數socket.receive.buffer.bytes 102400  socket SO_RCVBUFF參數zookeeper.connect       指定zookeeper連接字符串, 格式如hostname:port/chroot。chroot是一個namespacezookeeper.connection.timeout.ms 6000    指定客戶端連接zookeeper的最大超時時間zookeeper.session.timeout.ms　　  6000    連接zk的session超時時間zookeeper.sync.time.ms  2000    zk follower落后于zk leader的最長時間high-level consumer的配置參數參數  默認值 描述groupid groupid 一個字符串用來指示一組consumer所在的組socket.timeout.ms   30000   socket超時時間socket.buffersize   64*1024 socket receive bufferfetch.size  300 * 1024  控制在一個請求中獲取的消息的字節數。 這個參數在0.8.x中由fetch.message.max.bytes,fetch.min.bytes取代backoff.increment.ms    1000    這個參數避免在沒有新數據的情況下重復頻繁的拉數據。 如果拉到空數據,則多推后這個時間queued.max.message.chunks   2   high level consumer內部緩存拉回來的消息到一個隊列中。 這個值控制這個隊列的大小auto.commit.enable  true    如果true,consumer定期地往zookeeper寫入每個分區的offsetauto.commit.interval.ms 10000   往zookeeper上寫offset的頻率auto.offset.reset   largest 如果offset出了返回,則 smallest: 自動設置reset到最小的offset. largest : 自動設置offset到最大的offset. 其它值不允許,會拋出異常.consumer.timeout.ms -1  默認-1,consumer在沒有新消息時無限期的block。如果設置一個正值, 一個超時異常會拋出rebalance.retries.max   4   rebalance時的最大嘗試次數producer的配置參數參數  默認值 描述producer.type   sync    指定消息發送是同步還是異步。異步asyc成批發送用kafka.producer.AyncProducer, 同步sync用kafka.producer.SyncProducermetadata.broker.list    boker list  使用這個參數傳入boker和分區的靜態信息,如host1:port1,host2:port2, 這個可以是全部boker的一部分compression.codec   NoCompressionCodec  消息壓縮,默認不壓縮compressed.topics   null    在設置了壓縮的情況下,可以指定特定的topic壓縮,未指定則全部壓縮message.send.max.retries    3   消息發送最大嘗試次數retry.backoff.ms    300 每次嘗試增加的額外的間隔時間topic.metadata.refresh.interval.ms  600000  定期的獲取元數據的時間。當分區丟失,leader不可用時producer也會主動獲取元數據,如果為0,則每次發送完消息就獲取元數據,不推薦。如果為負值,則只有在失敗的情況下獲取元數據。queue.buffering.max.ms  5000    在producer queue的緩存的數據最大時間,僅僅for asycqueue.buffering.max.message 10000   producer 緩存的消息的最大數量,僅僅for asycqueue.enqueue.timeout.ms    -1  0當queue滿時丟掉,負值是queue滿時block,正值是queue滿時block相應的時間,僅僅for asycbatch.num.messages  200 一批消息的數量,僅僅for asycrequest.required.acks   0   0表示producer無需等待leader的確認,1代表需要leader確認寫入它的本地log并立即確認,-1代表所有的備份都完成后確認。 僅僅for syncrequest.timeout.ms  10000   確認超時時間