Apache Pulsar 모니터링

노트

피쳐 프로젝트

와탭은 사용자가 원하는 소프트웨어의 모니터링 지원 여부를 쉽게 확인하고 간편하게 모니터링을 시작할 수 있도록 새롭게 피쳐 프로젝트(Features)를 도입하였습니다. 피쳐 프로젝트는 기존 모니터링 제품을 사용자가 모니터링하고자 하는 소프트웨어에 맞게 재포장해 최적화된 모니터링 솔루션을 제공합니다. 와탭 피쳐 프로젝트를 통해 서비스의 안정성과 성능을 더욱 효과적으로 관리해 보세요.

아파치 펄사는 대규모의 실시간 데이터를 효율적으로 처리할 수 있도록 설계된 분산형 메시징 및 스트리밍 플랫폼입니다. 높은 확장성과 내장된 멀티 테넌시 기능을 제공하며 메시지의 지리적인 복제 및 지속성을 통해 신뢰성과 유연성을 보장합니다. 아파치 펄사의 복잡한 운영 환경에서 성능 및 안정성을 유지하기 위해 모니터링이 중요합니다.

와탭은 새로운 피쳐 프로젝트 방식으로 Apache Pulsar 모니터링을 제공합니다. 와탭을 통해 아파치 펄사 클러스터의 성능과 상태를 실시간으로 추적하여 메시지 지연, 처리량 저하, 리소스 과부하 등과 같은 문제를 조기에 감지하고 해결할 수 있습니다.

• 지표 모니터링: 각 노드에 대한 CPU, 메모리 사용량과 같은 다양한 시스템 지표 및 메시지 처리량, 지연 시간, 큐 크기 등 중요한 운영 지표를 제공합니다.

• 맞춤형 대시보드: 맞춤형 대시보드를 통해 지표를 효율적으로 조회할 수 있습니다.

• 알림 설정: 설정한 조건 감지 시 실시간으로 알림을 발송해 사용자가 문제에 신속히 대응할 수 있습니다.

와탭 Apache Pulsar 모니터링을 통해 아파치 펄사 클러스터의 복잡한 운영 환경을 효과적으로 관리해 보세요.

설치하기

와탭 아파치 펄사 모니터링 서비스 이용을 위한 기본 설치 방법을 안내합니다.

와탭 모니터링 서비스를 사용하기 위해서는 회원 가입 후 프로젝트를 생성하고 대상 서버에 에이전트를 설치해야 합니다. 회원 가입에 관한 자세한 내용은 다음 문서를 참조하세요.

노트

지원 환경

와탭 아파치 펄사 모니터링 에이전트를 설치하기 전에 지원 환경을 확인하세요.

• Apache Pulsar: Apache Pulsar 3.3.x 이상

• Ubuntu: Ubuntu 12.04 이상

• OS: Red Hat 6 or equivalent(CentOS, Rocky Linux, Amazon Linux)

• 운영체제 아키텍처: Amd64/X86_64, Arm64/Aarch64

피쳐 프로젝트 생성하기

에이전트를 설치하기 전에 먼저 프로젝트를 생성하세요.

1. 와탭 모니터링 서비스에 로그인합니다.

2. 왼쪽 사이드 메뉴에서 전체 프로젝트 > + 프로젝트 버튼을 클릭합니다.

3. 상품 선택 화면에서 설치할 제품을 선택합니다.

4. 아래 항목을 입력하거나 선택합니다.

   • 프로젝트 이름: 프로젝트의 이름을 입력합니다.

   • 데이터 서버 지역: 데이터 서버가 위치한 리전을 선택합니다. 리전은 클라우드 서비스를 제공하는 데이터 센터의 묶음입니다. 선택한 리전에 사용자의 데이터가 저장됩니다.

   • 타임 존: 알림 및 보고서 생성 시 기준이 되는 시간을 설정합니다.

   • 알림 언어 설정: 경고 알림 메시지의 언어를 설정합니다. (한글, 영어 지원)

   • 프로젝트 그룹: 여러 프로젝트를 그룹으로 묶어 관리할 수 있습니다. 소속될 그룹이 있으면 선택하세요.

   • 프로젝트 설명: 프로젝트에 대한 추가 설명이나 세부 정보를 입력합니다.

5. 모든 설정을 완료하면 프로젝트 생성하기 버튼을 클릭합니다.

노트

조직을 선택한 상태에서 프로젝트를 추가할 경우 조직 하위 그룹을 필수로 설정해야 합니다.

그룹에 대한 자세한 설명은 다음 문서를 참고하세요.

Apache Pulsar 에이전트 설치

피쳐 프로젝트(Features) 생성 후 자동으로 Apache Pulsar 에이전트 설치 화면으로 이동합니다. 다음 안내대로 설치를 진행하세요.

1. 프로젝트 액세스 키를 확인하세요.

   프로젝트 액세스 키는 와탭 서비스 활성화를 위한 고유 ID 입니다. 프로젝트 액세스 키 발급받기 버튼을 선택하세요.

2. 설치 스크립트를 생성하세요.

   다음 명령어를 실행해 사용자 환경을 자동으로 인식 후 아파치 펄사가 설치된 서버에 설치 스크립트를 생성하세요.

   curl http://repo.whatap.io/telegraf/feature/apachepulsar/install_apachepulsar_monitoring.sh -o install_apachepulsar_monitoring.sh

3. 에이전트 설정 및 재시작 후 모니터링을 시작하세요.

   와탭 서버 모니터링 에이전트와 텔레그래프 사이드카를 설치하기 위해 다음 명령어를 실행하세요.

   chmod +x install_apachepulsar_monitoring.sh
   sudo ./install_apachepulsar_monitoring.sh "x42s823cuq7fg-x7ekkc24qctvr1-z51hfam8avhtls" "15.165.146.117"

주요 메뉴 알아보기

대시보드

홈 화면 > 피쳐 프로젝트(Features) 선택 > Apache Pulsar > Apache Pulsar 대시보드

와탭 아파치 펄사 모니터링은 아파치 펄사 클러스터의 성능과 상태 등 전체 현황을 한 눈에 파악할 수 있도록 다양한 지표를 실시간으로 모니터링합니다. 각 지표를 정기적으로 확인하여 클러스터가 최적의 상태를 유지하도록 관리할 수 있습니다.

와탭이 제공하는 Apache Pulsar 대시보드는 다음의 세 가지 프리셋으로 구성되어있습니다.

• Overview

  클러스터의 전반적인 성능과 상태를 한눈에 파악할 수 있도록 주요 메트릭을 종합적으로 시각화한 대시보드입니다. 클러스터 운영자가 실시간으로 시스템 상태를 모니터링하고 성능 저하를 신속히 감지하는 것에 유용합니다.

  대시보드 지표 안내

  대시보드 상단 요약 정보

  • CPU: 클러스터에서 사용 중인 CPU 코어의 수를 표시합니다.

  • Memory: 클러스터에서 사용 중인 총 메모리 용량과 현재 메모리 사용량을 나타냅니다.

  • ZooKeeper: 현재 운영 중인 ZooKeeper 인스턴스의 수와 가용 상태를 보여줍니다.

  • Broker: 활성화된 브로커의 수와 상태를 표시합니다.

  • Bookies: 아파치 펄사에서 사용하는 BookKeeper 노드(Bookies)의 수와 상태를 나타냅니다.

  • Broker Storage Size: 브로커에 저장된 데이터의 총 용량을 보여줍니다.

  • Backlog: 처리되지 않은 메시지의 총 크기를 표시하여 메시지 처리의 지연 상태를 파악할 수 있습니다.

  성능 그래프

  • Messaging Storage: 시간에 따른 메시지 저장소 사용량을 표시하여 저장소 용량 변동성을 추적합니다.

  • Message Rate(msg/s): 초당 처리되는 메시지 수를 그래프로 보여주며, 클러스터의 메시지 처리 속도를 모니터링합니다.

  • Messaging Backlog: 시간 경과에 따라 처리되지 않고 대기 중인 메시지의 수를 시각화하여, 메시지 처리 지연을 신속히 파악할 수 있습니다.

  • Throughput(bytes/s): 초당 처리된 데이터의 양을 나타내며, 클러스터의 데이터 처리 능력을 평가합니다.

  • Replication Backlog: 다른 데이터 센터로 복제되지 않고 대기 중인 메시지의 수를 보여줍니다.

  • Replication Throughput: 데이터 복제 과정에서 초당 처리되는 데이터 양을 나타냅니다.

  • Replication Rate: 복제 메시지의 전송 속도를 보여줍니다.

  • Subscription Unacked Messages: 구독된 메시지 중 아직 확인되지 않은(Unacked) 메시지의 수를 나타냅니다.

  상위 10개 항목 백로그

  • Top 10 topics backlog: 백로그가 가장 많은 상위 10개의 토픽을 나열하여 메시지 지연 원인을 분석할 수 있습니다.

  • Top 10 Replication Backlog: 복제 백로그가 가장 많은 상위 10개의 항목을 나열하여 복제 지연 문제를 파악할 수 있습니다.

• Overview II

  클러스터 내 메시지 생산자와 소비자 활동을 중점적으로 모니터링하는 대시보드입니다. 노드별 자원 사용량 및 주요 토픽의 상태를 세부적으로 관리할 수 있도록 설계되었습니다. 시스템 자원의 최적화와 메시지 처리 흐름을 관리하는 데 도움을 줍니다.

  대시보드 지표 안내

  • Consumers Count: 현재 클러스터에서 활성화된 컨슈머의 수를 실시간으로 표시하며, 메시지 소비 활동을 모니터링하고 컨슈머 수의 변동이 시스템에 미치는 영향을 분석할 수 있습니다.

  • Producers Count: 현재 클러스터에서 활성화된 프로듀서의 수를 실시간으로 표시하며, 메시지 생산 활동을 모니터링하고 프로듀서 수의 변화가 메시지 생산 속도에 미치는 영향을 분석할 수 있습니다.

  • Messages In: 클러스터에 인입되는 메시지 수를 시간에 따라 표시하며, 메시지 인입 속도를 모니터링하여 시스템 부하를 예측하고 트래픽 변동을 파악하는 데 도움을 줍니다.

  • Subscriptions Count: 클러스터에서 활성화된 구독의 수를 실시간으로 표시하며, 구독 수의 증감이 시스템 메시지 처리에 미치는 영향을 분석할 때 유용합니다.

  • Offloaded Size: 클러스터에서 디스크로 오프로드된 데이터의 크기를 나타내며, 데이터 저장 효율성을 평가하고 장기적인 저장 공간 관리에 활용할 수 있습니다.

  • Bytes In: 클러스터로 인입되는 데이터의 크기를 실시간으로 표시하며, 데이터 인입 속도를 모니터링하여 시스템 성능 및 네트워크 부하를 관리하는 데 유용합니다.

  • Node CPU(Node CPU 사용률): 클러스터 내 각 노드의 CPU 사용률을 그래프로 표시하며, 노드별 성능을 모니터링하고 리소스 분배를 최적화할 수 있습니다.

  • Node Memory Used %(Node Memory 사용률): 클러스터 내 각 노드의 메모리 사용률을 실시간으로 표시하며, 메모리 사용 현황을 모니터링하여 성능 저하를 예방할 수 있습니다.

  • Top 10 Topics Unacked: 아직 확인되지 않은(Unacked) 메시지가 많은 상위 10개의 토픽을 나열하며, 특정 토픽에서 메시지 확인 지연의 원인을 파악하고 문제를 해결하는 데 유용합니다.

  • Top 10 Topics Storage: 저장 공간을 가장 많이 차지하고 있는 상위 10개의 토픽을 나열하며, 특정 토픽이 차지하는 저장 공간을 분석하여 효율적인 데이터 관리를 지원합니다.

• Backlog

  클러스터 내 백로그 상태를 실시간으로 추적하는 대시보드입니다. 메시지 처리 지연이 발생할 수 있는 토픽을 신속하게 식별할 수 있도록 지원합니다. 문제 발생 시 빠르게 대응하고 성능 최적화를 위한 조치를 취하는 데 유용합니다.

  대시보드 지표 안내

  • Pulsar Backlog: 특정 토픽에서 처리되지 않고 대기 중인 메시지 수를 시간에 따라 시각화합니다. 시스템의 처리 능력을 초과할 때 발생하는 백로그 상태를 실시간으로 모니터링하여 문제를 조기에 발견하고 대응할 수 있습니다.

  • Top 20 Backlog Topics: 백로그가 가장 많은 상위 20개의 토픽을 나열합니다. 각 토픽에서 처리되지 않고 대기 중인 메시지 수를 표시하여 문제 토픽을 신속히 파악하고 리소스를 집중할 수 있습니다.

  • Recently(최근 메시지 수): 각 토픽 옆의 Recently 컬럼은 최근 발생한 백로그 메시지 수를 나타냅니다. 최근 백로그 상태를 명확히 이해하고 즉각적인 대응이 필요한 토픽을 식별하는 데 도움을 줍니다.

노트

실시간으로 데이터를 업데이트하여 운영자가 즉각적인 상황을 파악할 수 있도록 지원하며 클러스터 운영 중 발생하는 변동성을 신속히 반영합니다. 이를 통해 운영자는 문제를 실시간으로 모니터링하고 즉각적인 조치를 취할 수 있습니다.