kafka操作日志管理

2023-01-08

本文主要是 kafka操作日志管理 相关的知识问答，如果你也了解，请帮忙补充。

参考知识1 首先附上kafka 操作日志配置文件：log4j.properties

根据相应的需要设置日志。

其次 kafka默认打印GC日志，如下，

生产是不需要的 需要关掉，kafka home bin目录下面有个kafka-run-class.sh脚本 vim编辑一下

将参数 KAFKA_GC_LOG_OPTS=" " 设置为空格即可，重启kafka之后就不再打印GC日志了。

可以写个定时清理脚本来清除日志结合
crontab ：0 0 2 * * ? /home/cluster/kafka211/bin/cleanupkafkalog.sh

举例删除主题：t1205
(1)在kafka集群中删除topic，当前topic被标记成删除。
./kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --delete --topic t1205

(2)在每台broker节点上删除当前这个topic对应的真实数据。
删除kafka相关的数据目录，数据目录请参考目标机器上的kafka配置：server.properties -> log.dirs=/var/kafka/log/tmp
rm -r /var/kafka/log/tmp/t1205*

(3)进入zookeeper客户端，删除topic信息
rmr /brokers/topics/t1205

(4)删除zookeeper中被标记为删除的topic信息
rmr /admin/delete_topics/t1205

最后重启ZK和kafka集群，查看是否还有
./kafka-topics.sh --list --zookeeper node3:2181,node4:2181,node5:2181