石臻臻的杂货铺

关注石臻臻的杂货铺, 拉你进高质量DD技术答疑群,滴滴专家值班解答
提问 私信 关注
石臻臻的杂货铺
码龄8年

滴滴技术答疑群.每周有技术专家值班答疑,欢迎联系我拉你入群

  • 835,550
    被访问量
  • 146
    原创文章
  • 1,301
    作者排名
  • 27,317
    粉丝数量
  • 于 2013-05-09 加入CSDN
  • 4,612分
获得成就
  • Java领域优质创作者
  • 博客专家认证
  • 获得1,676次点赞
  • 内容获得1,814次评论
  • 获得2,495次收藏
  • 入选《本周创作者榜》第48名
荣誉勋章
兴趣领域
  • #后端
    #Redis#分布式#Linux#架构#Spring#Java#Elasticsearch#MySQL#Spring Boot
  • #大数据
    #spark#hadoop
TA的专栏
  • Nacos配置管理
    付费
    14篇
  • Spring
    付费
    20篇
  • kafka2
    23篇
  • 《kafka面试100例》
    4篇
  • 效能提升
    2篇
  • Logi-KafkaManager
  • SpringBoot
    10篇
  • Seata
    1篇
  • jvm
    2篇
  • spring-kafka
    2篇
  • kafka
    9篇
  • Althas
    3篇
  • 微信开发
    1篇
  • Java
    2篇
  • kafka-manager
    6篇
  • 笔记
  • zookeeper
    1篇
  • 踩坑
    1篇
  • Linux
    3篇
  • Nginx
    1篇
  • 学习笔记
    1篇
  • SpringMVC
    3篇
  • 遇到过的问题已经解决方案
    2篇
  • 工具
    4篇
  • JAVA基础
    3篇
  • 数据库
    2篇
  • Redis
    12篇
  • dubbo
    6篇
  • 总结
    2篇
  • 运维
    2篇
  • git
    1篇
❤️滴滴技术专家,带你进大厂❤️
一起进大厂
超强免费学习资料汇总
1. 严肃专业技术交流群,不可闲聊,多个技术专家值班 2. 轻松活跃技术闲聊群,交流经验,认识新朋友
3. 帮忙内推,面试指导
4. 定期赠书
加入我们吧!!!
❤️ 滴滴技术专家 带你进大厂 ❤️
和博主交个朋友

  • 最近
  • 文章
  • 资源
  • 问答
  • 课程
  • 帖子
  • 收藏
  • 关注/订阅

【kafka源码】/log_dir_event_notification的LogDir脱机事件通知

前言我们会看到zk的数据中有一个节点/log_dir_event_notification/，这是一个序列号持久节点这个节点在kafka中承担的作用是: 当某个Broker上的LogDir出现异常时(比如磁盘损坏,文件读写失败,等等异常): 向zk中谢增一个子节点/log_dir_event_notification/log_dir_event_序列号 ；Controller监听到这个节点的变更之后,会向Brokers们发送LeaderAndIsrRequest请求; 然后做一些副本脱机的善后操作
原创
264阅读
8评论
60点赞
发布博客于 3 天前

【实战】kafka删除Topic常见异常排查思路及解决方案

有人报案最近技术群里面有几个同学碰到了 删除Topic的问题, 怎么样也删除不掉,然后我协助排查之后,就做个记录,写篇文章,大家在碰到这类型的问题的时候应该怎么去排查收集线索报not retrying deletion 异常版本:kafka_2.11-2.0.0删除前在执行重分配,但是失败了,强制停止数据迁移,手动删除了节点/admin/reassign_partitions再次重新删除提示异常Topic test is already marked for deletion所有Broke
原创
2929阅读
97评论
135点赞
发布博客于 11 天前

从周五到今天 通过抽奖和文末送书的形式 送出去了7本书了 -------------------------- 群友们最期待的就是每周五的抽奖送书了 来一起领书呀

发布Blink于 11 天前

《kafka问答100例 -4》 如果我手动在zk中添加/brokers/topics/{TopicName}节点会怎么样?

《kafka问答100例 -4》 如果我手动在zk中添加/brokers/topics/{TopicName}节点会怎么样?
原创
5835阅读
41评论
64点赞
发布博客于 13 天前

《kafka问答100例 -3》 如果我没有指定分区数或者副本数,那么会如何创建

《kafka问答100例 -3》 如果我没有指定分区数或者副本数,那么会如何创建
原创
6026阅读
12评论
21点赞
发布博客于 15 天前

《Kafka面试100例》

《kafka问答100例 -2》 创建Topic的时候 什么时候在Broker磁盘上创建的日志文件
发布Blink于 16 天前

《kafka问答100例 -2》 创建Topic的时候 什么时候在Broker磁盘上创建的日志文件

创建Topic的时候 什么时候在Broker磁盘上创建的日志文件
原创
5603阅读
36评论
58点赞
发布博客于 16 天前

《kafka问答100例 -1》 kafka创建Topic的时候 在Zk上创建了哪些节点

kafka创建Topic的时候 在Zk上创建了哪些节点
原创
5730阅读
7评论
10点赞
发布博客于 16 天前

又失眠了。。

 
发布Blink于 17 天前

一图全解Kafka在zookeeper中的数据结构

大家好,我是石臻臻,这是 「kafka专栏」 连载中的第「10」篇文章…首发: 一图全解Kafka在zookeeper中的数据结构一图知全貌 /cluster/cluster/id 持久数据节点集群ID当第一台Broker启动的时候, 发现/cluster/id不存在,那么它就会把自己的cluster.id配置写入zk; 标记当前zk是属于集群哪个集群; 后面其他的Broker启动的时候会去获取该数据, 如果发现数据跟自己的配置不一致; 则抛出异常,加入的不是同一
原创
8202阅读
105评论
71点赞
发布博客于 18 天前

Mac提升工作效率从Alfred神器开始(上)

最近公司发了新Mac,又要重新装各种软件,问了一圈身边的人发现,居然还有这么多人不知道Alfred这款神器,我表示非常震惊,因为使用Mac不用这款Alfred神器,真的是太可惜了,它的功能真的真的非常强大, 掌握这款工具你可以扔掉你手中的鼠标了; 今天这篇文章介绍一下这款神器的使用！一、安装下载最新版4.0.4 ,关注公众号 : 石臻臻的杂货铺;回复Alfred关键字获取安装包和破解器;下载好了dmg安装包Alfred_4_Powerpack_4.0.4.1107_xclient.info.dmg
原创
6258阅读
12评论
11点赞
发布博客于 23 天前

失眠的我...起来练琴.......

发布Blink于 24 天前

精心整理的Kafka学习大全 需要自取

发布Blink于 24 天前

超强!!! Kafka高质量专栏学习大全,持续连载中

超强!!! Kafka高质量专栏学习大全,持续连载中.....运维Topic增删查(扩容) kafka-topics.sh kafka的动态配置 kafka-config.shTopic发送消息 kafka-console-producer.shTopic消费消息 kafka-console-consumer.sh持续批量推送消息 kafka-verifiable-producer.sh持续批量拉取消息kafka-verifiable-consumer生产者压力测试kafka.
原创
840阅读
11评论
10点赞
发布博客于 24 天前

【kafka】kafka的动态配置管理使用和分析

文章目录源码分析1. Broker启动加载动态配置1.1 启动加载动态配置总流程1. 2 加载Topic动态配置1.3 加载Broker动态配置2. 查询动态配置 流程 `--describe`3. 新增/修改/删除/动态配置 的流程Topic配置其他的类型都一样4. Broker监听/config/changes的变更源码总结Q&A如果我想在我的项目中获取kafka的所有配置该怎么办？源码分析1. Broker启动加载动态配置KafkaServer.startup1.1 启动加载动态配置
原创
3014阅读
72评论
69点赞
发布博客于 25 天前

【kafka源码】kafka分区副本的分配规则

我们有分析过【kafka源码】TopicCommand之创建Topic源码解析;因为篇幅太长所以 关于分区分配的问题单独开一篇文章写;源码分析创建Topic的源码入口 AdminManager.createTopics()以下只列出了分区分配相关代码其他省略def createTopics(timeout: Int, validateOnly: Boolean, toCreate: Map[String, Creatab
原创
1255阅读
72评论
65点赞
发布博客于 27 天前

Kafka的这个bug,你中招了吗!!!

Hello~~ 大家好,我是石臻臻~~~~ 今天这篇文章,给大家分享一下最近看kafka源码时候,困扰我几天的疑惑,供大家一起思考讨论,确定一下它是不是一个 Bug 欢迎留言一起探讨！这个 " Bug " ,发生在分区副本进行分配的时候, 为了让大家更好的理解,我把kafka里面所有情况的分区分配规则给大家详细讲解一下 「 不想看过程,可以直接看最后的总结部分 」在kafka需要进行分区副本分配计算的地方有三个地方「 Topic创建 」的时候「 分区扩容 」的时候「 分区副本重分配 」的.
原创
6698阅读
168评论
86点赞
发布博客于 1 月前

8.【kafka运维】kafka-dump-log.sh数据查看

日常运维问题排查怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台1.查看日志文件 kafka-dump-log.sh参数描述例子--deep-iteration--files <String: file1, file2, ...>必需; 读取的日志文件–files 0000009000.log--key-decoder-class如果设置，则用于反序列化键。这类应实现kafka.serializer。解码器特性。自.
原创
6033阅读
37评论
44点赞
发布博客于 1 月前

万字长文解析删除Topic流程领导再也不用担心我排查生产环境问题了(附教学视频,建议收藏!!!)

【源码】Topic删除流程分析+常见问题 日常运维 、问题排查 怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台文章目录删除Topic命令相关配置源码解析1. 客户端发起删除Topic的请求2. Controller处理deleteTopics的请求3. Controller监听zk变更 执行删除Topic流程3.1 resumeDeletions 执行...
原创
13141阅读
102评论
67点赞
发布博客于 1 月前

今年的关键词是：失眠 我真的太痛苦了

 
发布Blink于 1 月前

7.【kafka运维】 kafka-consumer-groups.sh消费者组管理

文章目录消费者组管理 kafka-consumer-groups.sh1. 查看消费者列表`--list`2. 查看消费者组详情`--describe`3. 删除消费者组`--delete`4. 重置消费组的偏移量 `--reset-offsets`5. 删除偏移量`delete-offsets`More日常运维 、问题排查 怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台消费者组管理 kafka-consumer-groups.sh1. 查看消费者列表--lists
原创
1817阅读
44评论
25点赞
发布博客于 1 月前

【kafka源码】Topic的创建源码分析(附视频)

文章目录脚本参数创建Topic脚本创建Topic 源码分析1. 源码入口2. 创建AdminClientTopicService 对象2.1 先创建 Admin3. AdminClientTopicService.createTopic 创建Topic3.1 KafkaAdminClient.createTopics(NewTopic) 创建Topic4. 发起网络请求5. Controller角色的服务端接受请求处理逻辑5.1 KafkaApis.handle(request) 根据请求传递Api调用不同
原创
1384阅读
55评论
39点赞
发布博客于 1 月前

6.【kafka运维】删除Topic消息+查看Broker磁盘信息

文章目录1.删除指定分区的消息kafka-delete-records.sh2. 查看Broker磁盘信息kafka-log-dirs.shMore日常运维 、问题排查 怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台1.删除指定分区的消息kafka-delete-records.sh删除指定topic的某个分区的消息删除至offset为1024先配置json文件offset-json-file.json{"partitions":[{"topic": "test1
原创
244阅读
32评论
20点赞
发布博客于 1 月前

5.【kafka运维】生产者消费组压力测试运维(5)

文章目录1.生产者压力测试kafka-producer-perf-test.sh2.消费者压力测试kafka-consumer-perf-test.shMore日常运维 、问题排查 怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台1.生产者压力测试kafka-producer-perf-test.sh1. 发送1024条消息--num-records 100并且每条消息大小为1KB--record-size 1024 最大吞吐量每秒10000条--throughput 1
原创
981阅读
30评论
23点赞
发布博客于 1 月前

4.【kafka运维】Leader重新选举运维脚本(4)

文章目录kafka-leader-election Leader重新选举More日常运维 、问题排查 怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台kafka-leader-election Leader重新选举1 指定Topic指定分区用重新PREFERRED：优先副本策略 进行Leader重选举> sh bin/kafka-leader-election.sh --bootstrap-server xxxx:9090 --topic test_create
原创
156阅读
16评论
19点赞
发布博客于 1 月前

3.【kafka运维】Topic的生产和消费运维脚本

文章目录1.Topic的发送kafka-console-producer.sh2. Topic的消费kafka-console-consumer.shMore日常运维 、问题排查 怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台1.Topic的发送kafka-console-producer.sh4.1 生产无key消息## 生产者bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --top
原创
8593阅读
33评论
19点赞
发布博客于 1 月前

你们周末都是怎么过的？

网页链接
发布Blink于 2 月前

2.【kafka运维】ConfigCommand运维脚本

文章目录ConfigCommand1 查询配置Topic配置查询其他配置/clients/users/brokers/broker-loggers 的查询查询kafka版本信息2 增删改 配置 `--alter`Topic添加/修改动态配置Topic删除动态配置其他配置同理,只需要类型改下`--entity-type`附件More日常运维 、问题排查 怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台ConfigCommandConfig相关操作; 动态配置可以覆盖默认.
原创
9091阅读
16评论
13点赞
发布博客于 2 月前

一篇文章写下来，不是说几个小时就写完了 而且一个星期可能都还没有完全写完 何况还录制了视频。。。 你不收藏一下？

网页链接
发布Blink于 2 月前

【kafka源码】ReassignPartitionsCommand源码原理分析(附配套教学视频)

文章目录1.脚本的使用2.源码解析2.1`--generate ` 生成分配策略分析2.2`--execute ` 执行阶段分析2.2.1 已有任务,尝试限流2.2.2 开始执行副本重分配任务2.2.3 Controller监听`/admin/reassign_partitions`节点变化onPartitionReassignment2.2.4 Controller监听节点`brokers/topics/{topicName}`变化,检查是否有新增分区2.2.5 Controller监听zk节点`/bro
原创
9227阅读
65评论
44点赞
发布博客于 2 月前

【kafka运维】分区副本重分配、数据迁移、副本扩缩容 (附教学视频)

文章目录脚本参数分区副本重分配1. 生成推荐配置脚本2. 执行Json文件3. 验证副本扩缩副本扩容副本缩容脚本参数分区副本重分配一个分区副本重分配的过程建议要经过下面3个步骤1. 生成推荐配置脚本关键参数--generate在进行分区副本重分配之前,最好是用下面方式获取一个合理的分配文件;编写move-json-file.json文件; 这个文件就是告知想对哪些Topic进行重新分配的计算{ "topics": [ {"topic": "test_create_topic1"}
原创
11604阅读
96评论
68点赞
发布博客于 2 月前

希望今年或者明年出一本书（认真脸）

 
发布Blink于 2 月前

【kafka异常】kafka 常见异常处理方案(持续更新! 建议收藏)

The leader epoch in the request is older than the epoch on the broker--Partition $topicPartition marked as failed说明 当前分区的Leader的epoch比Broker的epoch老所以导致follow去fetchleader的时候报错；只要重新发生一下Leader选举就行了;...
原创
994阅读
14评论
16点赞
发布博客于 2 月前

1.【kafka运维】TopicCommand运维脚本(1)

TopicCommand1.Topic创建bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3 --topic test相关可选参数参数描述例子--bootstrap-server 指定kafka服务指定连接到的kafka服务; 如果有这个参数,则 --zookeeper可以不需要–bootstrap-server loc
原创
909阅读
10评论
7点赞
发布博客于 2 月前

上个热榜这么难.... 洋洋洒洒的干货文章没人看 没天理啊真的

 
发布Blink于 2 月前

周五有个群友生产环境碰到了问题,一起帮忙排查问题+解决方案 周末花了2天重新读了一遍源码，并且每种情况亲自验证了一遍 写出来这篇非常硬的实战干货 所有异常+解决方案+排查问题思路； 原创不易,如果对你有帮忙麻烦给个一键三连了 谢谢各位[抱拳]

网页链接
发布Blink于 2 月前

【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)

文章目录前提所有异常情况1. TargetBroker若不在线,迁移脚本执行会失败情景演示2. TargetBroker在开始迁移过程中宕机，导致迁移任务一直在进行中情景演示解决方法3. 被迁移副本没有找到Leader,导致TargetReplica一直不能同步副本情景演示解决方案4. 限流导致重分配一直完成不了情景演示解决方案5. 数据量太大,同步的贼慢解决方案排查问题思路1. 先看/admin/reassign_partitions里面的数据2. 再看brokers/topics/{TopicName}
原创
15109阅读
67评论
70点赞
发布博客于 2 月前

随便扯扯淡淡

推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 为啥停更这么久还不是懒！佛系这个号断更了很久, 不是我这段时间没有学习,也不是没有写新的文章而是因为, 我写文章比较佛系, 不更别人一样坚持每周/每天都要发文我可能一两个月都不写,又有可能一个月写十几篇;加上我写的文章都是以源码分析居多, 受众好像不太在公众号这里更适合的是通过搜索引擎搜索到我的文章来帮助别人解决问题所以我写的很多文章都发在CSDN.
原创
109阅读
5评论
1点赞
发布博客于 2 月前

【kafka专栏】kafka专栏目录整理(建议收藏不迷路)

推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 整理所有已发布的kafka相关文章, 包含以下几个部分,每周发一篇, 绝对不鸽!!!目前已经写完20篇左右, 待文章写完便开始录制视频; 文章和视频 首发同名公众号: 石臻臻的杂货铺kafka运维【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议收藏!!!)kafka源码kafka原理kafka实战kafka视频欢迎Star和共.
原创
203阅读
5评论
4点赞
发布博客于 2 月前

【日常失眠】睡不着，起来写写文章吧

 
发布Blink于 3 月前

Kafka运维合集（精品建议收藏）

【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议收藏!!!)
发布Blink于 3 月前

【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议收藏!!!)

本文所有命令,博主均全部操作验证过,保证准确性; 非复制粘贴拼凑文章; 如果想了解更多工具命令,可在评论区留下评论,博主会择期加上;kafka-topics.sh、kafka-configs.sh、kafka-reassign-partitionskafka-console-producer.sh、kafka-console-consumer.sh、kafka-leader-election、kafka-verifiable-producer.sh、kafka-verifiable-consumer、
原创
19065阅读
51评论
53点赞
发布博客于 3 月前

Kafka的灵魂伴侣Logi-KafkaManger(6)之专家服务(分区热点分区不足)

文章目录专家服务Topic分区热点KM解决分区热点问题Topic分区不足项目地址: didi/Logi-KafkaManager: 一站式Apache Kafka集群指标监控与运维管控平台专家服务直观的展示和分析当前被管理的集群中出现的问题; 以及可视化运维Topic分区热点看到这个词,我们可以先想一想 什么是分区热点,什么情况下会出现分区热点情况;按照我的理解,我将其罗列为以下几点什么是分区热点Topic分区上数据分配不均衡造成的原因: 当生产者指定了分区数 或者key的时候, 有
原创
9270阅读
29评论
17点赞
发布博客于 4 月前

早上早点起床可以学习两个小时

早上早点起床可以学习两个小时
3回答
发布问题于 5 月前

早上早点起床可以学习两个小时

发布Blink于 5 月前

✌

Kafka的灵魂伴侣Logi-KafkaManger(5)之运维管控–平台管理(用户管理和平台配置)
发布Blink于 5 月前

Kafka的灵魂伴侣Logi-KafkaManger(5)之运维管控–平台管理(用户管理和平台配置)

文章目录运维管控集群列表集群运维平台管理应用管理应用申请应用详情申请下线用户管理用户角色平台配置网关配置专栏文章列表项目地址: didi/Logi-KafkaManager: 一站式Apache Kafka集群指标监控与运维管控平台运维管控运维管控这个菜单栏目下面主要是供运维人员来管理所有集群的;集群列表Kafka的灵魂伴侣Logi-KafkaManger(3)之运维管控–集群列表集群运维Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级
原创
8252阅读
13评论
8点赞
发布博客于 5 月前

使用km来进行Kafka自动迁移数据不香吗。了解一下

Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)
发布Blink于 5 月前

Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)

详细介绍 应用管理 用户管理 平台配置等模块还有kafka的分区迁移任务;
原创
10951阅读
29评论
27点赞
发布博客于 5 月前

由滴滴开源的Logi-kafka Manager运维平台真的是开发认真和运维人员的福音。跟着我的专栏了解一下把

Kafka的灵魂伴侣Logi-KafkaManger一之集群的接入及相关概念讲解
发布Blink于 5 月前

我用#CSDN#这个app发现了有技术含量的博客，小伙伴们求同去《kafka的好伴侣Logi-kafkamanger之运维管控--集群列表》, 一起来围观吧 https://blog.csdn.net/u010634066/article/details/115631758?utm_source=app&app_version=4.6.1

 
发布Blink于 5 月前

Kafka的灵魂伴侣Logi-KafkaManger(3)之运维管控--集群列表

文章目录运维管控物理集群列表实时流量byteRejected(B/s) 每秒被拒绝的字节数failedFetchRequest 每秒拉取失败的请求数failedProduceRequest 每秒发送失败的请求数前面的文章简单介绍了如何接入集群,以及Topic的申请和配额申请,这个时候我们还不是很了解Logi-KafkaManager究竟有哪些优点,如何去管理众多的kafka集群; 今天这篇文章,我们就来详细的了解一下,Logi-KafkaManager中的一些监控信息,以及如何正确✅的看待这些信息;运维
原创
9287阅读
26评论
25点赞
发布博客于 5 月前

Kafka的灵魂伴侣Logi-KafkaManger(2)之kafka针对Topic粒度的配额管理(限流)

文章目录申请配额(限流)针对Topic粒度的配额如何生效的测试kafka限流是否成功本文主要是讲解 针对Topic生产/消费 的限流配置; 如果不需要设置限流 则可忽略;申请配额(限流)不了解kafak配额管理机制的可以先了解一下 kafka中的配额管理（限速）机制默认创建完Topic之后是没有设置配额信息的,而且我们都知道Kafka的配额(限流)只支持三种粒度:user + clientiduserclientid如果kafka集群没有开启身份认证，则只能使用clientid方式
原创
3372阅读
6评论
13点赞
发布博客于 5 月前

Kafka的灵魂伴侣Logi-KafkaManger(1)之集群的接入及相关概念讲解

上一篇文章 Logi-KafkaManager的部署 详细讲解了Logi-KafkaManager的部署过程; 那么运维管理人员搭建好了平台之后,接下来要做什么呢？接下来第一步肯定就是接入现有kafka集群了; 那么本篇文章就来讲解一下 集群的接入;接入集群参数描述参数描述数据中心默认国内; 这个也只是一个划分数据的维度,我们一般默认就国内集群类型无效,后续会去掉安全协议TODOJMX认证TODO接入成功之后可以看见接入的物理集群; 列表中展示了
原创
3221阅读
8评论
17点赞
发布博客于 5 月前

加油加油冲冲冲

 
发布Blink于 5 月前

开心😁哈哈哈哈哈

 
发布Blink于 7 月前

如何合理地估算线程池大小

CPU密集型CPU密集型也叫计算密集型，指的是系统的硬盘、内存性能相对CPU要好很多，此时，系统运作大部分的状况是CPU Loading 100%，CPU要读/写I/O(硬盘/内存)，I/O在很短的时间就可以完成，而CPU还有许多运算要处理，CPU Loading很高。写了一个cpu密集型的例子,一直执行自增操作CPU bound的程序一般而言CPU占用率相当高。这可能是因为任务本身不太需要访问I/O设备，也可能是因为程序是多线程实现因此屏蔽掉了等待I/O的时间如果是CPU密集型应用，则线程池大小
原创
277阅读
4评论
1点赞
发布博客于 7 月前

【jvm】通过JDBC为例谈谈双亲委派模型的破坏

我们都知道类加载的双亲委派模型双亲委派模型并不是一个强制约束模型,而是java设计者推荐给开发者的类加载实现方式；但是也会有例外; 今天我们主要来讲一讲 类似于SPI这种设计导致的双亲委派模型被“破坏”的情况;JDBC不破坏双亲委派模型的情况（不使用JNDI服务） // 1.加载数据访问驱动 Class.forName("com.mysql.cj.jdbc.Driver"); //2.连接到数据"库"上去 Connection co
原创
770阅读
5评论
5点赞
发布博客于 7 月前

【Jvm】Jvm类加载机制

类加载时机虚拟机把描述类的数据从 Class 文件加载到内存，并对数据进行校验、转换解析和初始化，最终形成可以被虚拟机直接使用的 Java 类型，这就是虚拟机的类加载机制。在Java语言里面，类型的加载、连接和初始化过程都是在程序运行期间完成的类加载的过程类的生命周期为支持运行时绑定，解析过程在某些情况下可在初始化之后再开始，除解析过程外的其他加载过程必须按照如图顺序开始。加载通过全限定类名来获取定义此类的二进制字节流。将这个字节流所代表的静态存储结构转化为方法区的运行时数据结构
原创
231阅读
5评论
4点赞
发布博客于 7 月前

Dubbo下的多版本并行开发测试解决方案（服务路由）

在很久之前的文章多版本并行开发测试解决方案 中挖了个坑今天来给填上； 今天主要讲解实现方案;主要思路给不同版本的dubbo服务打上 标签version上在dubbo 提供和消费的出入口上 带上 标签version服务消费进行路由的时候 给他找到相同标签version的提供者 进行消费；如果没有就给它稳定版本是不是很简单,就是打个标签,然后路由的时候找相同服务嘛简单代码打标签写个Register的Wrapper类 将标签注册上去 这里我是将标签绑定到了dubbo的属性applica
原创
359阅读
1评论
2点赞
发布博客于 8 月前

【spring-kafka】@KafkaListener详解与使用

说明从2.2.4版开始，您可以直接在注释上指定Kafka使用者属性，这些属性将覆盖在使用者工厂中配置的具有相同名称的所有属性。您不能通过这种方式指定group.id和client.id属性。他们将被忽略；可以使用#{…​}或属性占位符（${…​}）在SpEL上配置注释上的大多数属性。比如: @KafkaListener(id = "consumer-id",topics = "SHI_TOPIC1",concurrency = "${listen.concurrency:3}",
原创
11526阅读
8评论
7点赞
发布博客于 8 月前

【kafka】kafka的服务复用与隔离设计方案

之前在写 多版本并行开发测试解决方案 的时候 占了个坑,今天来补上;这篇文章主要讲一下 kafka的服务复用与隔离;主要解决的问题是,在多个迭代环境下; 让消息的提供者和消费者都能正确的发出和消费;这个比dubbo的服务路由与隔离更复杂一点1.问题描述概念说明:稳定版本: ABC 属于全局共用的一套稳定服务;迭代版本: A1 C1 C2 属于他们对应系统的迭代版本, 比如针对A系统进行需求改动,部署一套新的迭代服务A1;要求: mq提供者服务提供出去的消息尽量让 相同版本的消费者进行消费；
原创
590阅读
1评论
3点赞
发布博客于 8 月前

【kafka】常用命令汇总

目录查询1.查看所有或者指定Topic的信息2.列出所有Topic3.新消费者列表查询4.显示某个消费组的消费详情（0.10.1.0版本+）TODO查询1.查看所有或者指定Topic的信息查看Topic的分区情况 副本情况和 配置情况## 所有bin/kafka-topics.sh --describe --zookeeper xxxx ##指定bin/kafka-topics.sh --describe --zookeeper xxxx --topic TOPIC名称输出[roo
原创
217阅读
4评论
0点赞
发布博客于 10 月前

【spring-kafka】属性concurrency的作用及如何配置(RoundRobinAssignor 、RangeAssignor)

目录concurrency属性作用什么情况下设置concurrency,以及设置多少不同配置的实验分析分区数3|concurrency = 1|启动一个客户端(单机)分区数3|concurrency = 1|启动2个客户端(分布式模式)分区数3|concurrency = 3|启动一个客户端分区数3|concurrency = 3|启动2个客户端(分布式模式)批量消费concurrency属性作用concurrency默认是1;container.setConcurrency(3)表示创建三个Kaf
原创
5551阅读
12评论
9点赞
发布博客于 10 月前

【kafka异常】使用Spring-kafka遇到的坑

CORRUPT_MESSAGE这个错误一般是压缩策略为cleanup.policy=compact的情况下，key不能为空o.a.k.c.p.i.Sender 595 [WARN] [Producer clientId=producer-1] Got error produce response with correlation id 131 on topic-partition SHI_TOPIC1-0, retrying (2147483521 attempts left). Error: COR
原创
15402阅读
4评论
4点赞
发布博客于 10 月前

【Redis】位图以及位图的使用场景(统计在线人数和用户在线状态)

位图位图的最大优点之一是，它们在存储信息时通常可以节省大量空间位图不是一个真实的数据类型，而是定义在字符串类型上的面向位的操作的集合。由于字符串类型是二进制安全的二进制大对象，并且最大长度是 512MB，适合于设置 2^32^个不同的位。位操作分为两组：常量时间单个位的操作，像设置一个位为 1 或者 0，或者获取该位的值。对一组位的操作，例如计算指定范围位的置位数量。 1字节=1B=2^3b=8位 1KB=2^10^B 1MB=2^10^KB 512MB=2^9^ X 2^10^
原创
1065阅读
3评论
3点赞
发布博客于 10 月前

【Redis】redis安装与客户端redis-cli的使用(批量操作)

在Centos中安装Redis安装步骤先创建一个文件夹用于存放redismkdir /data/redis & cd /data/redis1.使用以下命令下载，提取和编译Redis： wget https://download.redis.io/releases/redis-6.0.9.tar.gz tar xzf redis-6.0.9.tar.gz cd redis-6.0.9 make make test最新稳定版本请看 https://redis.io/downloa
原创
1066阅读
3评论
0点赞
发布博客于 10 月前

【kafka问题】记一次kafka消费者未接收到消息问题

今天出现了这样一个问题, A说他的kafka消息发送了; B说它没有接收到; 那么问题来了：A的消息是否发送了？如果A的消息发送成功了; B为何没有消费到？好,带着上面的问题,我们来一步步排查一下问题所在查询kafka消息是否发送成功1.1.从头消费一下对应的topic;再查询刚刚发送的关键词bin/kafka-console-consumer.sh --bootstrap-server xxx1:9092,xxx2:9092,xxx3:9092 --topic topic名称 -from-
原创
1724阅读
7评论
9点赞
发布博客于 10 月前

【kafka原理】Kafka生产者 (分区策略和ACK应答机制)

分区策略分区原因方便再集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可以适应任意大小的数据了;可以提高并发,因为可以以partition为单位读写分区原则我们需要将producer发送的数据封装成一个ProducerRecord对象指明 partition 的情况下，直接将指明的值直接作为 partiton 值;没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 t
原创
1619阅读
7评论
7点赞
发布博客于 11 月前

【kafka原理】消费者提交已消费的偏移量

那在上一篇文章中我们了解了 消费者偏移量__consumer_offsets_,知道了 消费者在消费了消息之后会把消费的offset 更新到以 名称为__consumer_offsets_的内置Topic中; 每个消费组都有维护一个当前消费组的offset; 那么就会有以下疑问到底消费组什么时候把offset更新到broker中的分区中呢？ 每次消费一条消息就提交到 broker中去更新？那这样是不是会有一些效率的一些问题？既然有了疑问 ,那么我们本篇文章就来好好分析一下这个问题!通过查询 kaf
原创
693阅读
3评论
1点赞
发布博客于 11 月前

【kafka原理】 消费者偏移量__consumer_offsets_相关解析

我们在kafka的log文件中发现了还有很多以 __consumer_offsets_的文件夹；总共50个;由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。__consumer_offsets 是 kafka 自行创建的，和普通的 topic 相同。它存在的目的之一就
原创
2944阅读
5评论
3点赞
发布博客于 11 月前

【kafka原理】kafka Log存储解析以及索引机制

本文设置到的配置项有名称描述类型默认num.partitionstopic的默认分区数int1log.dirs保存日志数据的目录。如果未设置，则使用log.dir中的值string/tmp/kafka-logsoffsets.topic.replication.factoroffset topic复制因子（ps：就是备份数，设置的越高来确保可用性）。为了确保offset topic有效的复制因子，第一次请求offset topic时，活的broker的数量
原创
12350阅读
6评论
4点赞
发布博客于 11 月前

【Log日志】打印mybatis中sql日志并存放到指定文件中

打印mybatis中sql日志并存放到指定文件中logback-spring.xml (如果是logbackx.xml 动态路径会失效)<?xml version="1.0" encoding="UTF-8"?><configuration> <!-- 子节点<property> ：用来定义变量值，它有两个属性name和value，通过<property>定义的值会被插入到logger上下文中，可以使“${}”来使用变量--> <
原创
2599阅读
4评论
3点赞
发布博客于 1 年前

【Log日志】在日志系统初始化之前如何打印日志

之前在文章 使用Nacos简化SpringBoot配置(所有配置放入到Nacos中) 中有实现一个 EnvironmentPostProcessor的扩展接口;但是发现日志并没有打印出来, 然后就跟着源码找了一下问题;问题原因:在SpringBoot加载的过程中 EnvironmentPostProcessor 的执行比较早; 这个时候日志系统根本就还没有初始化;所以在此之前的日志操作都不会有效果;看看日志系统加载的时机日志系统初始化的地方 LoggingApplicationListen
原创
608阅读
3评论
1点赞
发布博客于 1 年前

【Log日志】logback.xml动态配置属性值(包括接入的第三方配置)

我们在开发过程中,会使用到logback.xml 配置来管理日志文件;比如 <appender name="common" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>${log.path}/common.log</file> <append>true</append> <encoder> <pattern>%d{yyyy
原创
1713阅读
2评论
2点赞
发布博客于 1 年前

【SpringBoot】使用Nacos简化SpringBoot配置(所有配置放入到Nacos中)

本篇文章主要讲述以下几个知识点 Nacos属性的简单使用 将SpringBoot中的所有配置全部放入到Nacos中 开发人创建单独的命名空间,修改互不影响 Nacos经常变动的配置抽离到外部文件中将项目中的所有配置全部放到到1. 首先引入包 <!-- nacos 接入--> <!-- https://mvnrepository.com/artifact/com.alibaba.boot/nacos-config-spring-boot
原创
12731阅读
7评论
5点赞
发布博客于 1 年前

【SpringBoot】配置文件的加载与属性值的绑定

Question在使用SpringBoot过程中你是否会有以下疑问？具体有多少种配置属性源的方式呢？为何使用@Value 注解就能够获取到属性源中的值呢？属性源这么多,如果属性相同的话 那么用哪个值呢？属性源是如何绑定到我们的程序中的呢？Nacos是如果接入到SpringBoot中的呢？为什么@NacosValue可以获取到Nacos中的值并且还是实时刷新的？有没有什么方式可以将SpringBoot中的静态配置全部移动到Nacos中去吗？本篇文章会针对以上问题逐个分析Answer
原创
1569阅读
2评论
2点赞
发布博客于 1 年前

【SpringBoot】SpringBoot启动流程图和扩展点说明

下图是SpringBoot的启动流程图图中 表示扩展点的标识;图中的Spring启动的过程 省略未画; 后续会补充上;如果图看不清,可以打开以下链接查看SpringBoot启动流程以扩展点说明图密码: src666
原创
773阅读
1评论
4点赞
发布博客于 1 年前

【Spring Boot 四】启动之准备系统环境environmentPrepared

environmentPrepared系统环境已经准备就绪 private ConfigurableEnvironment prepareEnvironment( SpringApplicationRunListeners listeners, ApplicationArguments applicationArguments) { // Create and configure the environment ConfigurableEnvironment environme
原创
12937阅读
7评论
0点赞
发布博客于 1 年前

【Spring Boot 三】SpringBoot中事件与通知

前言在SpringBoot启动过程中,有下面两行代码 SpringApplicationRunListeners listeners = getRunListeners(args); listeners.starting();简单概括来说,他的作用是:通过spring.factories文件中找到所有需要被实例化的SpringApplicationRunListener的实现类;并将其实例化,然后执行starting方法; 在SpringBoot中这个实现类只有EventPublishin
原创
1821阅读
3评论
0点赞
发布博客于 1 年前

【SpringBoot 二】spring.factories加载时机分析

spring.factories作用这个类似于Java中的SPI功能,SpringBoot启动的时候会读取所有jar包下面的META-INF/spring.factories文件; 并且将文件中的 接口/抽象类 对应的实现类都对应起来,并在需要的时候可以实例化对应的实现类下面我们来分析一下源码看看spring.factories的使用场景源码解析启动SpringApplication,看看构造方法 public SpringApplication(ResourceLoader resour
原创
2610阅读
5评论
3点赞
发布博客于 1 年前

【SpringBoot 一】SpringApplication启动类的Args详解

Args 作用传递参数的一种方式; 例如启动的时候 java -jar --spring.profiles.active=prod或者更改自己的自定义配置信息 ;使用方式是 --key=value它的信息优先于项目里面的配置;我们现在大部分项目都是用SpringBoot进行开发的,一般启动类的格式是SpringApplication.run(SpringBootDemoPropertiesApplication.class, args);但是好像平常一直也没有用到args; 也没有穿过参数
原创
14222阅读
4评论
5点赞
发布博客于 1 年前

【Seata】分布式事务框架Seata踩坑集锦

no available service ‘default’ foundcom.alibaba.nacos.api.exception.NacosExceptionNotSupportYetException: not support register type: null can not register RM,err:can not connect to services-server.Could not initialize class io.seata.rm.datasource.undo.
原创
34699阅读
6评论
7点赞
发布博客于 1 年前

多版本并行开发测试解决方案

背景与挑战为了支撑业务的飞速发展，分布式系统架构不断演进，业务链路日趋复杂，服务间相互调用,增加了服务联调的复杂性;在如此研发背景下，作为研发过程中不可或缺的一环业务链路联调，面临越来越多的挑战：联调涉及应用服务多，导致环境构建和维护的成本都非常高，手工搭建一套可用联调环境，少则1-2天，部分情况下甚至可能花费1到2周。因此，如何降低联调环境构建成本，让研发同学专注于业务联调本身？联调链...
原创
1622阅读
3评论
1点赞
发布博客于 1 年前

我写的dubbo扩展jar包如何无侵入的给别人使用

有这么一个场景, 我写了一个dubbo spi扩展jar包 dubbo-ext.jar; 这个Jar包是不可执行包(没有main函数), 它的作用是对现有运行的dubbo服务做一些增强;那么这样的一个扩展包,要符合即插即用的原则;要无侵入的增强;正常情况下我们可能直接在pom文件依赖一下这个包;因为无侵入原则,那么这条路就不能走了; 那可怎么办呢？1.Tomcat启动方式如果目标服务是用T...
原创
4662阅读
6评论
3点赞
发布博客于 2 年前

【Dubbo源码】SPI机制源码解析

文章目录一、什么是SPI机制二、SPI机制源码分析ExtensionLoader静态类和静态方法new ExtensionLoader(type) 实例化扩展加载器如何创建自适应扩展实例如何获取自适应扩展的`Class`？如何自动创建`自适应扩展类`实例化之后,如何依赖注入？依赖注入的属性从哪里来加载当前`Type`中所有的扩展类加载文件中的具体实现类@Activate 注解的作用总结先去看Du...
原创
4054阅读
7评论
2点赞
发布博客于 2 年前

Zookeeper安装与基础命令操作

安装ZK下载安装包点击下载zookeeper 3.4.14PS: Mac之前下载了3.5.6启动之后,报错找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain应该是lib下的jar包缺失,省的麻烦,我就直接下载了3.4.14版本启动ZkServer执行zk的bin下面的启动脚本；例如sh ~/Documents...
原创
315阅读
3评论
1点赞
发布博客于 2 年前

Aop实现记录请求日志

/** * @ClassName: LogAspect * @Description: 日志记录AOP实现 */@Component@Aspectpublic class LogAspect { private final static Logger logger = LoggerFactory.getLogger(LogAspect.class); @Pointcut...
原创
258阅读
2评论
0点赞
发布博客于 2 年前