Kafka组件介绍

• 
  Broker
  
      Kafka集群包含一个或多个服务器，这种服务器被称为broker
  


• 
  
  
  
  


• 
  Topic
  
      每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处）
  


• 
  
  
  
  


• 
  Partition
  
      parition是物理上的概念，每个topic包含一个或多个partition，创建topic时可指定parition数量。每个partition对应于一个文件夹，该文件夹下存储该partition的数据和索引文件
  


• 
  
  
  
  


• 
  Producer
  
      负责发布消息到Kafka broker
  


• 
  
  
  
  


• 
  Consumer
  
      消费消息。每个consumer属于一个特定的consuer group（可为每个consumer指定group name，若不指定group name则属于默认的group）。使用consumer high level API时，同一topic的一条消息只能被同一个consumer group内的一个consumer消费，但多个consumer group可同时消费这一消息。