当前位置: 首页 > news >正文

凡客建站手机版下载seo牛人

凡客建站手机版下载,seo牛人,wordpress媒体库调用,自己做卖假货网站1.概述 在Kafka架构,不管是生产者Producer还是消费者Consumer面向的都是Topic。Topic是逻辑上的概念,而Partition是物理上的概念。每个Partition逻辑上对应一个log文件,该log文件存储是Producer生产的数据。Producer生产的数据被不断追加到该…

1.概述

  在Kafka架构,不管是生产者Producer还是消费者Consumer面向的都是Topic。Topic是逻辑上的概念,而Partition是物理上的概念。每个Partition逻辑上对应一个log文件,该log文件存储是Producer生产的数据。Producer生产的数据被不断追加到该log文件末端,且每条数据都有自己的offset。Kafka对于log文件是采取分片和索引机制。

2.Kafka的topic

启动kafka集群,集群中有三台Broker; 设置3个分区,3个副本;

2.1 创建hy-test-topic

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --replication-factor 3 --partitions 3 --topic hy-test-topic

2.2 发送消息到topic

public static void main(String[] args) {//1.创建kakfa生产者的配置对象Properties prop = new Properties();//2.给生产者配置对象添加配置信息prop.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092");prop.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");prop.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");prop.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);prop.put(ProducerConfig.LINGER_MS_CONFIG, 1);prop.put(ProducerConfig.BUFFER_MEMORY_CONFIG,33554432);//3.创建生产者对象KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(prop);//4.调用send方法,发送消息for (int i = 0; i < 5; i++) {kafkaProducer.send(new ProducerRecord<String,String>("hy-test-topic",Integer.toString(i),Integer.toString(i)));}//5.关闭资源kafkaProducer.close();
}

查看log.dirs

在这里插入图片描述

2.3 查看topic的分区和副本

bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic hy-test-topic

在这里插入图片描述
可以看出:

  • 分区Partition-0 在broker.id=4中,其余都是副本 Replicas 2,3
  • 分区Partition-1 在broker.id=2中,其余都是副本 Replicas 3,4
  • 分区Partition-2 在broker.id=3中,其余都是副本 Replicas 4,2

通过zookeeper查看leader在那个broker上

[zk: localhost:2181(CONNECTED) 14] get /kafka/brokers/topics/hy-test-topic/partitions/0/state{"controller_epoch":49,"leader":4,"version":1,"leader_epoch":0,"isr":[4,2,3]}

2.4 分区文件

在这里插入图片描述
在这里插入图片描述

名称描述类型默认
log.segment.bytes单个日志文件的最大大小int1073741824(1G)

继续发送消息会生成新的segment

在这里插入图片描述

可以看出

  • 第一个segment文件00000000000000000000.log快要达到 log.segment.bytes时,开始创建 00000000000000001187.log
  • .log.index.timeindex文件是一起出现; 并且名称是以文件第一个offset命名的。
  • .log存储消息文件
  • .index存储消息的索引
  • .timeIndex,时间索引文件,通过时间戳做索引

2.5 分区下文件内容

使用kafka自带工具bin/kafka-run-class.sh 来读取分区下的文件内容

2.5.1 消息文件.log
bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log

在这里插入图片描述

最后一行显示的是

baseOffset: 1186  position: 1072277020 CreateTime: 1695792070168
2.5.2 消息索引文件.index
bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.index

在这里插入图片描述

offset: 1186 position: 1072277020
2.5.3 时间索引文件.timeindex
/opt/module/kafka/bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.timeindex

在这里插入图片描述

2.5.4 Kafka如何查找指定offset的Message

借用博主@lizhitao 博客上的一张图来展示是如何查找Message的。

在这里插入图片描述

比如:要查找绝对offset为7的Message:

  • 首先是用二分查找确定它是在哪个LogSegment中,自然是在第一个Segment中。
  • 打开这个Segment的index文件,用二分查找找到offset小于或者等于指定offset的索引条目中最大的那个offset。自然offset为6的那个索引是我们要找的,通过索引文件我们知道offset为6的Message在数据文件中的位置为9807。
  • 打开数据文件,从位置为9807的那个地方开始顺序扫描直到找到offset为7的那条Message。

该机制是建立在offset是有序的。索引文件被映射到内存中,所以查找的速度还是很快的。

Kafka的Message存储采用了分区(partition),分段(LogSegment)和稀疏索引来达到了查找的高效性。

参考链接:https://cloud.tencent.com/developer/article/1846773

http://www.15wanjia.com/news/1015.html

相关文章:

  • 广州好的做网站公司线上引流线下推广方案
  • 无锡网络公司服务太原建站seo
  • 工信部网站备案名单推广运营怎么做
  • qq空间登录搜索引擎优化学习
  • 网站开发代码编辑器网络营销ppt案例
  • 做网站用什么软件做百度网页版链接地址
  • 大连网站制作431网络营销软件排行
  • 钦州网站建设做网站排名服务热线
  • wordpress开发的网站有哪些seo优化是指
  • 相亲交友网站建设公司营销策划方案案例
  • 新疆生产建设兵团职业资格证书查询官方网站如何做网络推广人员
  • 淘宝详情页做的比较好的网站技术培训学校机构
  • dw做网站怎么让文字移动怎么下载需要会员的网站视频
  • 个人网站建设流程网站建设费用多少钱
  • 网站被301百度直接打开
  • 电子商务网站建设asp sql 源码下载谷歌seo排名优化
  • 设计培训培训网站建设google官网登录
  • 佛山企业网站建设流程苏州优化排名seo
  • 网站建设开360网站收录提交
  • 怎么快速刷排名株洲专业seo优化
  • 网站群系统推广文案怎么写
  • 企业做网站这些问题必须要注意seo排名app
  • 网站的形式seo厂家电话
  • 厦门百城建设有限公司网站百度seo课程
  • wordpress站点后台石家庄新闻网头条新闻
  • 多媒体网站开发实验报告在线生成个人网站免费
  • 医院网站建设中标seo常用分析的专业工具
  • 1688会提供网站建设官网整站优化
  • 无锡做公司网站多少钱关键词排名查询工具有哪些
  • 如何判断一个网站是php还是asp拓客平台有哪些