KafKa CMAK 3.0.0.4（二）---Kevin song

KafKa CMAK 介绍

Cluster Manager for Apache Kafka是雅虎开源应用于Kafka集群，用户可在Web 界面执行简单的集群管理操作。

CMAK（以前称为Kafka Manager）是用于管理Apache Kafka群集的Web工具。CMAK支持以下内容

管理多个集群轻松检查集群状态（主题，使用者，偏移量，代理，副本分发，分区分发）运行首选副本选择生成带有选项的分区分配以选择要使用的代理运行分区的重新分配（基于生成的分配）使用可选的主题配置创建主题（0.8.1.1与0.8.2+具有不同的配置）删除主题（仅在0.8.2+上受支持，并记住在代理配置中设置delete.topic.enable = true）主题列表指示标记为删除的主题（仅在0.8.2+上受支持）批量生成多个主题的分区分配，并可以选择要使用的代理批量运行分区的多个主题的重新分配将分区添加到现有主题更新现有主题的配置支持ldap用户认证

准备依赖环境

CMAK 新版本依赖java-11环境

jdk 环境配置

#jdk 11 下载地址https://www.oracle.com/java/technologies/javase-jdk11-downloads.html#通过lrzsz上传文件"jdk-11.0.7_linux-x64_bin.tar.gz" 到/opt目录#解压jdk-11.0.7 至/data目录tar -zxvf jdk-11.0.7_linux-x64_bin.tar.gz -C /data

CMAK 软件包下载

下载编译好的二进制包

https://github.com/yahoo/CMAK/releases

解压到指定目录

unzip cmak-3.0.0.4.zip -d /data

CMAK Config

修改如下配置即可，通过逗号分隔来指定多个zookeeper主机。

[root@kafka-node3 /]# vim /data/cmak-3.0.0.4/conf/application.confkafka-manager.zkhosts="192.168.99.233:2181,192.168.99.232:2181,192.168.99.221:2181"kafka-manager.zkhosts=${?ZK_HOSTS}cmak.zkhosts="192.168.99.221:2181"cmak.zkhosts=${?ZK_HOSTS}

启用/禁用功能参数

application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature", "KMScheduleLeaderElectionFeature"]

CMAK服务启动

cmak 默认使用9000端口,可通过-Dhttp.port= 指定服务端口

[root@kafka-node3 cmak-3.0.0.4]# ./bin/cmak -Dconfig.file=conf/application.conf -java-home /data/jdk-11.0.7 -Dhttp.port=9000./bin/cmak -Dconfig.file=conf/application.conf -java-home /data/jdk-11.0.7 -Dhttp.port=9000

CMAK服务静默启动

[root@kafka-node3 cmak-3.0.0.4]#nohup ./bin/cmak -Dconfig.file=conf/application.conf -java-home /data/jdk-11.0.7 -Dhttp.port=9000./bin/cmak -Dconfig.file=conf/application.conf -java-home /data/jdk-11.0.7 -Dhttp.port=9000 &

使用systemctl 管理 kafka-manager

vim /usr/lib/systemd/system/kafka-manager.service [Unit]Description=kafka-manager server serviceAfter=network.target [Service]WorkingDirectory=/data/cmak-3.0.0.4ExecStart=/data/cmak-3.0.0.4/bin/cmak -Dconfig.file=/data/cmak-3.0.0.4/conf/application.conf -java-home /data/jdk-11.0.7 -Dhttp.port=9000Restart=on-failureRestartSec=60 [Install]WantedBy=multi-user.target#重载配置systemctl daemon-reload

启动、停止、重启、开机启动

systemctl start kafka-managersystemctl stop kafka-managersystemctl restart kafka-managersystemctl enable kafka-managersystemctl status kafka-manager

检查服务端口

[root@kafka-node3 opt]# netstat -auntlp |grep 9000tcp6 0 0 :::9000 :::* LISTEN 9108/java

CMAK Web UI

http://192.168.99.221:9001

Add Cluster

Brokers

Topics

Consumed Topic Information

KafKa broker 开启JMX 端口

vim /data/kafka/kafka_2.12-2.5.0/bin/kafka-server-start.sh#开启JMXexport JMX_PORT="9999"

不开启JMX端口 CMAK 报错如下

2020-04-21 19:35:14,532 - [ERROR] k.m.a.c.BrokerViewCacheActor - Failed to get broker metrics for BrokerIdentity(2,192.168.99.233,-1,false,true,Map(PLAINTEXT -> 9092))java.lang.IllegalArgumentException: requirement failed: No jmx port but jmx polling enabled! ---来自腾讯云社区的---Kevin song