引导者本文目录一览：
深入理解kafka(五)日志存储
1、创建数据、日志目录 配置zookeeper 重新配置 dataDir 和 dataLogDir 的存储路径 最后，启动 Zookeeper 服务 到官网 http：//kafka.apache.org/downloads.html 下载想要的版本，我这里下载是最新稳定版 0 。
2、.log文件： 存放Message的数据文件，在Kafka中把数据文件就叫做日志文件。一个分区下面默认有n多个.log文件(分段存储)。一个.log文件大默认1G，消息会不断追加在.log文件中，当.log文件的大小超过1G的时候，会自动新建一个新的.log文件。
3、Kafka每个主题的多个分区日志分布式地存储在Kafka集群上，同时为了故障容错，每个分区都会以副本的方式复制到多个消息代理节点上。
4、kafka producer将消息发送给broker后，消息日志会被存储在broker的磁盘上，采用顺序写入的方式。
5、kafka为每个主题维护了分布式的分区(partition)日志文件，每个partition在kafka存储层面是append log。
Kafka的日志存储
1、Kafka每个主题的多个分区日志分布式地存储在Kafka集群上，同时为了故障容错，每个分区都会以副本的方式复制到多个消息代理节点上。
2、简单了解了kafka在数据存储方面的知识，线面我们具体分析下为什么kafka基于磁盘却快于内存。在前面了解存储结构过程中，我们发现kafka记录log日志使用的结尾追加的方式，即 顺序写 。
3、并发送这些新的日志数据到处理程序（spooler），处理程序会集合这些事件，最后filebeat会发送集合的数据到你指定的地点。
4、测试logstash是消费Kafka的日志主题，并将日志内容存入Elasticsearch 自动新增的两个index，规则是logstash中配置的 数据浏览页可以看到Elasticsearch中存储的日志数据内容，说明我们的配置已经生效。
kafka不支持任何数据压缩算法
我们升级v1是为了使用LZ4kafka压缩的压缩算法。通过前后比较kafka压缩，发现对于broker端kafka压缩的流量流入能少50%以上，理论上可以只使用一半的机器就可以应付之前的数据量级了。
谈谈kafka压缩你对Kafka幂等性的理解？ Producer的幂等性指的是当发送同一条消息时，数据在 Server 端只会被持久化一次，数据不丢不重，但是这里的幂等性是有条件的：Kafka是在0.11 版本开始引入了事务支持。
流程描述： 用户首先构建待发送的消息对象ProducerRecord，然后调用KafkaProducer#send方法进行发送。
为了获得最大的吞吐量，需要牺牲一定的延迟，但是这样的牺牲是值得的。当确定了这种小批量方式之后，高速的写则取决于kafka自身写磁盘的速度了。
