色综合伊人色综合网站,色婷婷综合久色aⅴ五区最新

簡(jiǎn)述

《Zabbix對(duì)Kafka topic積壓數(shù)據(jù)監(jiān)控》一文的目的是通過(guò)Zabbix自動(dòng)發(fā)現(xiàn)實(shí)現(xiàn)對(duì)多個(gè)消費(fèi)者組的Topic及Partition的Lag進(jìn)行監(jiān)控。因在實(shí)際監(jiān)控中發(fā)現(xiàn)有問(wèn)題，為給感興趣的讀者不留坑，特通過(guò)此文對(duì)監(jiān)控進(jìn)行優(yōu)化調(diào)整。

分區(qū)自動(dòng)發(fā)現(xiàn)

# 未優(yōu)化前的計(jì)算方式：
# 自動(dòng)發(fā)現(xiàn)配置文件
vim consumer-groups.conf
#按消費(fèi)者組(Group)|Topic格式，寫(xiě)入自動(dòng)發(fā)現(xiàn)配置文件
test-group|test
# 執(zhí)行腳本自動(dòng)發(fā)現(xiàn)指定消費(fèi)者和topic的分區(qū)
bash consumer-groups.sh discovery
{
    "data": [
        { "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"0" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"1" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"3" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"2" }
    ]
}

經(jīng)過(guò)上線驗(yàn)證，當(dāng)自動(dòng)發(fā)現(xiàn)配置文件只有一個(gè)test-group|test是沒(méi)有問(wèn)題的，但當(dāng)我們按需求再接入test-group|test1 （即test-group消費(fèi)者組的第二個(gè)Topic）時(shí)，自動(dòng)發(fā)現(xiàn)的結(jié)果如下：

# 未優(yōu)化前的計(jì)算方式：
vim consumer-groups.conf
#按消費(fèi)者組(Group)|Topic格式，寫(xiě)入自動(dòng)發(fā)現(xiàn)配置文件
test-group|test
test-group|test1
# 執(zhí)行腳本自動(dòng)發(fā)現(xiàn)指定消費(fèi)者和topic的分區(qū)
bash consumer-groups.sh discovery
{
    "data": [
        { "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"0" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"1" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"3" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"2" }
        { "{#GROUP}":"test-group", "{#TOPICP}":"test1", "{#PARTITION}":"0" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test2", "{#PARTITION}":"1" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test3", "{#PARTITION}":"2" }
    ]
}

了解Zabbix自動(dòng)發(fā)現(xiàn)格式的同學(xué)會(huì)發(fā)現(xiàn)，每個(gè)Topic的Partition會(huì)出現(xiàn)','，這種格式是不符合規(guī)范，這就是導(dǎo)致我們的監(jiān)控項(xiàng)會(huì)出現(xiàn)問(wèn)題，因此我們需要進(jìn)一步修改腳本。

經(jīng)修改后，最終效果應(yīng)該如下：

# 優(yōu)化后的計(jì)算方式：
vim consumer-groups.conf
#按消費(fèi)者組(Group)|Topic格式，寫(xiě)入自動(dòng)發(fā)現(xiàn)配置文件
test-group|test
test-group|test1
# 執(zhí)行腳本自動(dòng)發(fā)現(xiàn)指定消費(fèi)者和topic的分區(qū)
bash consumer-groups.sh discovery
{
    "data": [
        { "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"0" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"1" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"3" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test", "{#PARTITION}":"2" }，
        { "{#GROUP}":"test-group", "{#TOPICP}":"test1", "{#PARTITION}":"0" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test1", "{#PARTITION}":"1" },
        { "{#GROUP}":"test-group", "{#TOPICP}":"test1", "{#PARTITION}":"2" }
    ]
}

獲取監(jiān)控項(xiàng)“test-group/test/分區(qū)X”的Lag

經(jīng)過(guò)自動(dòng)發(fā)現(xiàn)后的數(shù)據(jù)，我們可以進(jìn)一步獲取不同分區(qū)的lag

# 優(yōu)化后的計(jì)算方式：
# test-group test分區(qū)0 lag
bash consumer-groups.sh lag test-group test 0
# test-group test分區(qū)1 lag
bash consumer-groups.sh lag test-group test 1
# test-group test1分區(qū)0 lag
bash consumer-groups.sh lag test-group test1 0

通過(guò)命令可以看到，我們的參數(shù)通過(guò)消費(fèi)者組、Topic、Partition來(lái)獲取最終的lag值，如果不加消費(fèi)者區(qū)分，那么無(wú)法區(qū)分不同消費(fèi)者組和不同Topic相應(yīng)的lag結(jié)果：

# 未優(yōu)化前的計(jì)算方式：
# 獲取分區(qū)0 lag
bash consumer-groups.sh lag 0
# 獲取分區(qū)1 lag
bash consumer-groups.sh lag 1
# 獲取分區(qū)2 lag
bash consumer-groups.sh lag 2
# 獲取分區(qū)3 lag
bash consumer-groups.sh lag 3

最終優(yōu)化后腳本

# 自動(dòng)發(fā)現(xiàn)配置文件
vim consumer-groups.conf
#按消費(fèi)者組(Group)|Topic格式，寫(xiě)入自動(dòng)發(fā)現(xiàn)配置文件
test-group|test
test-group|test1
# 自動(dòng)發(fā)現(xiàn)、lag計(jì)算腳本
vim consumer-groups.sh
#!/bin/bash
##comment: 根據(jù)消費(fèi)者組監(jiān)控topic lag，進(jìn)行監(jiān)控告警
#配置文件說(shuō)明
#消費(fèi)者組|Topic
#test-group|test
#獲取topic 信息
cal_topic() {
    if [ $# -ne 2 ]; then
        echo "parameter num error, 讀取topic信息失敗"
        exit 1
    else
        /usr/local/kafka/bin/./kafka-consumer-groups.sh --bootstrap-server 192.168.3.55:9092 --describe --group $1 |grep -w $2|grep -v none 
    fi
}
#topic+分區(qū)自動(dòng)發(fā)現(xiàn)
topic_discovery() {
    printf "{\n"
    printf "\t\"data\": [\n"
    m=0
    num=`cat /etc/zabbix/monitor_scripts/consumer-groups.conf|wc -l`
    for line in `cat /etc/zabbix/monitor_scripts/consumer-groups.conf`
    do  
        m=`expr $m + 1`
        group=`echo ${line} | awk -F'|' '{print $1}'`
        topic=`echo ${line} | awk -F'|' '{print $2}'`
        cal_topic $group $topic > /tmp/consumer-group-tmp
        count=`cat /tmp/consumer-group-tmp|wc -l`
        n=0
        while read line
        do
             n=`expr  $n + 1`
             #判斷最后一行
             if [ $n -eq $count ] && [ $m -eq $num ]; then
                 topicp=`echo $line | awk '{print $1}'`
                 partition=`echo $line  | awk '{print $2}'`
                 printf "\t\t{ \"{#GROUP}\":\"${group}\", \"{#TOPICP}\":\"${topicp}\", \"{#PARTITION}\":\"${partition}\" }\n"
             else
                 topicp=`echo $line | awk '{print $1}'`
                 partition=`echo $line  | awk '{print $2}'`
                 printf "\t\t{ \"{#GROUP}\":\"${group}\", \"{#TOPICP}\":\"${topicp}\", \"{#PARTITION}\":\"${partition}\" },\n"
             fi
        done < /tmp/consumer-group-tmp
    done
    printf "\t]\n"
    printf "}\n"
}

if [ $1 == "discovery" ]; then
    topic_discovery
elif [ $1 == "lag" ];then
    cal_topic $2 $3 > /tmp/consumer-group
    cat /tmp/consumer-group |awk -v t=$3 -v p=$4 '{if($1==t && $2==p ){print $5}}'
else
    echo "Usage: /data/scripts/consumer-group.sh discovery | lag"
fi
# 手動(dòng)運(yùn)行
## 自動(dòng)發(fā)現(xiàn)
bash consumer-groups.sh discovery
## test-group test分區(qū)0 lag
bash consumer-groups.sh lag test-group test 0

接入Zabbix

1.Zabbix配置文件

vim userparameter_kafka.conf
UserParameter=topic_discovery,bash /data/scripts/consumer-groups.sh discovery
UserParameter=topic_log[*],bash /data/scripts/consumer-groups.sh lag "$1" "$2" "$3"

2.Zabbix自動(dòng)發(fā)現(xiàn)

3.監(jiān)控項(xiàng)配置

4.告警信息

告警主機(jī)：Kafka_192.168.3.55
主機(jī)IP：192.168.3.55
主機(jī)組：Kafka
告警時(shí)間：2022.03.21 00:23:10
告警等級(jí)：Average
告警信息：test-group/test/分區(qū)1:數(shù)據(jù)積壓100
告警項(xiàng)目：topic_lag[test-group,test,1]
問(wèn)題詳情：
test-group/test/1: 62

到此這篇關(guān)于Zabbix對(duì)Kafkatopic積壓數(shù)據(jù)監(jiān)控的文章就介紹到這了,更多相關(guān)Zabbix積壓數(shù)據(jù)監(jiān)控內(nèi)容請(qǐng)搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站！

國(guó)外穩(wěn)定服務(wù)器

版權(quán)聲明：本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非maisonbaluchon.cn所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái)，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。

相關(guān)文章

kernel-headers下載

kernel-headers-2.2.1-4

找不到config.inc.php 沒(méi)有config.inc.php這個(gè)文件

libtcl8.3下載|無(wú)法找到libtcl8.3

libmysqlclient.so.10無(wú)法找到

Linux+Apache+PHP+MySQL+Zend Optimizer+PHPMyAdmin

Zlib是什么?|Zlib的作用是什么?|Zlib有什么作用?

glibc安裝錯(cuò)誤|glibc安裝出錯(cuò)

什么是glibc?glibc是什么?什么是freetype?freetype是什么?什么是?Xlib是什么?什么是lo

ERROR 1045 (28000): Access denied for user root@localhost (using password: NO)