🕰️ 작성일 : 2025.04.03

🚀 목표 : Amazon MSK의 Metric 파이프라인을 JMX Exporter 및 Node Exporter을 활용하여 Amazon Managed Prometheus 및 Grafana를 통해 조회하는 파이프라인을 구성합니다. 최종 아래와 같은 파이프라인 구성을 목표로 합니다.

파이프라인 구성 순서

1. Amazon MSK 및 Amazon EKS Cluster 구성하기
2. Amazon Managed Prometheus 및 ADOT 구성하기
3. Amazon Grafana에서 모니터링

Amazon MSK 및 Amazon EKS Cluster 구성하기

1. Amazon MSK의 Monitoring 구성하기

• Amazon MSK의 모니터링 설정에서 Prometheus exporters을 활성화하고 JMX, Node Exporter을 활성화합니다.

• MSK의 모니터링 설정이 잘 구성되었는지 확인합니다.

[cloudshell-user@ip-10-134-81-117 ~]$ aws kafka describe-cluster --cluster-arn $(aws kafka list-clusters --query 'ClusterInfoList[?ClusterName==`MSK-Cluster`].ClusterArn' --output text) --query 'ClusterInfo.OpenMonitoring'
{
    "Prometheus": {
        "JmxExporter": {
            "EnabledInBroker": true
        },
        "NodeExporter": {
            "EnabledInBroker": true
        }
    }
}

1. AWS Distro for OpenTelemetry를 통해 Amazon MSK의 Metric 정보를 Amazon Managed Prometheus로 전달합니다. ADOT Collector가 구성 될 Amazon EKS Monitoring Cluster을 설치합니다.

[cloudshell-user@ip-10-134-81-117 ~]$ aws eks list-clusters --query 'clusters[?contains(@, `eks-monitoring`)]' --output text
eks-monitoring

[cloudshell-user@ip-10-134-81-117 ~]$ kubectl get node
NAME                                              STATUS   ROLES    AGE   VERSION
ip-10-10-100-40.ap-northeast-2.compute.internal   Ready    <none>   42m   v1.31.5-eks-5d632ec
ip-10-10-110-56.ap-northeast-2.compute.internal   Ready    <none>   42m   v1.31.5-eks-5d632ec

Amazon Managed Prometheus 및 ADOT 구성

1. Amazon Managed Prometheus 생성하기

aws amp create-workspace --alias aws_demo --region ap-northeast-2