GPU 메트릭
WhaTap 서버 모니터링의 GPU 성능 메트릭은 NVIDIA GPU 환경에서 GPU 서버, 개별 GPU, GPU 사용 프로세스, GPU 장애 이벤트 관점의 성능 및 상태 정보를 수집하여 제공합니다. GPU 사용률, 연산 자원 활용도, 메모리 사용량, 전력, 온도, 클럭, PCIe/NVLink 전송량, ECC 오류, 성능 제한 상태, Xid 이벤트 등을 확인할 수 있으며, GPU 서버의 전체 활용 수준 파악부터 개별 GPU 병목 분석, 프로세스 단위 원인 추적, 드라이버·하드웨어 이상 이벤트 확인까지 단계적으로 분석할 수 있습니다. 일부 지표는 Physical GPU 기준으로만 수집되며, MIG 환경에서는 수집 대상과 해석 기준이 달라질 수 있으므로 GPU Type 및 수집 대상을 함께 확인하는 것이 좋습니다. 또한 Xid 이벤트는 NVIDIA 드라이버가 시스템 로그에 기록한 장애/이벤트 이력을 기반으로 수집합니다. 원인 분석 시 이벤트 발생 시각, GPU 식별 정보, Xid Code, PID, Task Name, 상세 메시지를 함께 확인하세요.
노트
GPU 모니터링을 활성화하려면 에이전트 설정이 필요합니다. 자세한 내용은 GPU 기능 설정을 참조하세요.
GPU 성능 메트릭은 분석 관점에 따라 서버 전체 GPU 집계, 개별 GPU 상세, GPU 사용 프로세스, GPU Xid 이벤트 기준의 4가지 카테고리로 제공합니다.
-
infra_gpu
서버에 장착된 전체 GPU의 상태를 집계하여 GPU 서버 전체 관점의 성능과 상태를 확인할 수 있는 카테고리입니다. GPU 사용률, 메모리, 전력, 온도, 클럭, PCIe/NVLink, ECC, Violation 상태를 평균·합계·최대값 기준으로 제공하여 GPU 서버 전체의 활용 수준과 병목 가능성을 빠르게 확인할 수 있습니다.
-
infra_gpu_id
개별 GPU 단위의 성능과 상태를 제공하는 카테고리입니다. GPU별 사용률, 연산 자원 활용도, 메모리, 온도, 전력, 클럭, PCIe/NVLink, ECC, Violation 상태를 확인하여 특정 GPU에서 발생하는 병목이나 제약 상태를 분석할 수 있습니다. Physical GPU와 MIG 인스턴스에 따라 수집 가능한 지표가 다를 수 있으므로 GPU Type과 수집 대상을 함께 확인해야 합니다.
-
infra_gpu_process
GPU를 사용하는 프로세스 단위의 자원 사용 정보를 제공하는 카테고리입니다. PID, 프로세스명, 사용자, GPU UUID와 함께 SM 사용률, 메모리 컨트롤러 사용률, 인코더/디코더 사용률, FB 메모리 사용량 등을 확인하여 어떤 프로세스가 GPU 자원을 사용하고 있는지 추적할 수 있습니다. 단, 일부 프로세스별 GPU 사용률 지표는 GPU 전체 지표와 측정 기준이 다를 수 있으므로 개별 프로세스의 기여도를 판단할 때는 GPU 전체 지표와 함께 해석하는 것이 좋습니다.
-
infra_gpu_xid
NVIDIA 드라이버가 기록한 GPU Xid 이벤트 정보를 제공하는 카테고리입니다.
/var/log/messages또는 시스템 로그에 기록된NVRM: Xid로그를 기반으로 Xid Code, GPU Index, PCI Bus ID, 발생 시각, PID, Task Name, 상세 메시지를 수집하여 GPU 드라이버, 하드웨어, PCIe, 메모리, 애플리케이션 오류 등 GPU 이상 이벤트를 추적할 수 있습니다. 모든 Xid 이벤트가 즉시 하드웨어 장애를 의미하지는 않으므로 Xid Code의 의미, 발생 빈도, 동시점의 GPU 성능 지표, 프로세스 정보, 시스템 로그를 함께 확인하여 해석하는 것이 좋습니다.
GPU 메트릭 상세
카테고리별 수집 지표 상세 내용은 다음과 같습니다.
infra_gpu
서버에 장착된 GPU 전체를 집계한 사용 상태를 수집하는 카테고리입니다. GPU 사용률, 메모리 사용량, 전력, 온도, 클럭, PCIe/NVLink 처리량, ECC, violation 상태 등을 서버 전체 GPU 관점에서 평균, 합계, 최대값 등으로 재구성하여 제공합니다. GPU 서버 전체의 활용 수준과 병목, 제약 상태를 파악할 때 사용합니다.
- DCP(Datacenter Profiling) 지표 수집을 위해서는 nvidia-dcgm 서비스(또는 nv-hostengine 프로세스)가 기동중이어야 수집이 가능합니다.
- Agent 2.9.16 이상의 버전에서 nvidiav2.collector=true 설정 시 자동으로 연결가능한 NVML, DCGM Library를 통해서 메트릭 데이터를 수집합니다. (nvidia-smi 또는 dcgmi 쿼리를 사용하지 않습니다.)
- 기본 수집 주기: 30s
| Field 카테고리 필드 명 | Title 성능 요약/성능 상세/메트릭스 익스플로러 지표 명 | Unit | Description | 비고 | 메트릭 수집 조건 | 최소 지원 Agent Version |
|---|---|---|---|---|---|---|
| name_50 | GPU Name | string | 해당 GPU의 모델명을 나타내는 값입니다. 드라이버 버전 또는 수집 경로에 따라 표기 문자열이 조금씩 다를 수 있습니다. | 2.9.3 | ||
| model_family | GPU Model Family | string | 드라이버 버전, 펌웨어, 수집 경로에 따라 서로 다르게 표시될 수 있는 GPU 모델명을 A100, H100, L40S와 같은 대표 계열 이름으로 정규화한 값입니다. 모델별 집계, 필터링, 비교 분석을 일관되게 수행하기 위한 식별자로 사용합니다. | 2.9.7 | ||
| gpu_count | GPU Count | string | 해당 서버에서 인식되고 있는 Physical GPU 개수를 나타내는 값입니다. 전체 GPU 평균값, 총량, 비율 지표를 해석할 때 기준이 됩니다. | 2.9.3 | ||
| gpu_utilization | GPU Utilization | % | 서버 내 개별 GPU 활용률의 평균값입니다. Physical GPU 환경에서는 일반적인 GPU Util 값을 의미하며, MIG 환경에서는 개별 인스턴스에서 GR Engine Active 값을 대표 GPU 사용률로 활용할 수 있습니다. 서버 전체 GPU의 전반적인 활용 수준을 보여주는 지표입니다. | 장착된 Physical GPU 들의 AVG 값 | MIG Enabled 인 환경에서는 nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.6 |
| enc_util_206 | Encoder Util | % | 서버 내 개별 GPU의 인코더(Encoder) 엔진 활용률 평균값입니다. 영상 인코딩 작업이 GPU에서 얼마나 사용되고 있는지 보여줍니다. 값이 높을수록 NVENC 계열 엔진 사용 비중이 크다는 의미입니다. | 장착된 Physical GPU 들의 AVG 값 | 2.9.3 | |
| dec_util_207 | Decoder Util | % | 서버 내 개별 GPU의 디코더(Decoder) 엔진 활용률 평균값입니다. 영상 디코딩 작업이 GPU에서 얼마나 사용되고 있는지 보여줍니다. 값이 높을수록 NVDEC 계열 엔진 사용 비중이 크다는 의미입니다. | 장착된 Physical GPU 들의 AVG 값 | 2.9.3 | |
| gr_engine_active_1001 | GR Engine Active Util | % | 서버 내 개별 GPU의 Graphics/Compute Engine 활성 비율 평균값입니다. MIG 인스턴스 환경에서는 해당 인스턴스의 GPU 사용률을 대표적으로 해석할 수 있는 지표로 활용합니다. | 장착된 Physical GPU 들의 AVG 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| sm_active_1002 | SM Active Util | % | 서버 내 개별 GPU의 SM(Streaming Multiprocessor) 활성 비율 평균값입니다. 실제 연산 수행에 사용된 SM 자원의 전반적 사용 수준을 보여줍니다. | 장착된 Physical GPU 들의 AVG 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| sm_occupancy_1003 | SM Occupancy | % | 서버 내 개별 GPU의 SM Occupancy 평균값입니다. 활성 워프가 SM에 얼마나 채워져 있는지를 나타내며, 단순 활성률과는 달리 SM 자원 활용 밀도를 보여줍니다. | 장착된 Physical GPU 들의 AVG 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| tensor_active_1004 | Tensor Core Util | % | 서버 내 개별 GPU의 Tensor Core 활성 비율 평균값입니다. AI/딥러닝 연산과 같이 Tensor Core를 사용하는 워크로드 비중을 파악할 때 유용합니다. | 장착된 Physical GPU 들의 AVG 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| fp64_active_1006 | FP64 Compute Util | % | 서버 내 개별 GPU의 FP64 연산 활성 비율 평균값입니다. 배정밀도(double precision) 연산 부하 수준을 나타냅니다. | 장착된 Physical GPU 들의 AVG 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| fp32_active_1007 | FP32 Compute Util | % | 서버 내 개별 GPU의 FP32 연산 활성 비율 평균값입니다. 단정밀도(single precision) 연산 부하 수준을 나타냅니다. | 장착된 Physical GPU 들의 AVG 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| fp16_active_1008 | FP16 Compute Util | % | 서버 내 개별 GPU의 FP16 연산 활성 비율 평균값입니다. 반정밀도(half precision) 연산 부하 수준을 나타내며, AI 추론/학습 워크로드에서 중요할 수 있습니다. | 장착된 Physical GPU 들의 AVG 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| memory_copy_util_204 | Memory Copy Util | % | 서버 내 개별 GPU의 메모리 복사 엔진 활용률 평균값입니다. GPU 메모리 복사 엔진의 사용률을 나타냅니다. GPU 메모리와 GPU 내부 연산 영역 간의 데이터 이동, Host ↔ Device 복사, Device ↔ Device 복사 등 메모리 복사 또는 데이터 이동 경로가 얼마나 사용되고 있는지를 보여주는 지표입니다. 값이 높을수록 GPU 연산 자체보다 데이터 이동 부하가 크거나, 메모리 복사 작업이 병목이 될 가능성이 있습니다. 단, 이 값은 메모리 용량 사용률이 아니라 메모리 복사/전송 엔진의 활동 수준으로 해석해야 합니다. | 장착된 Physical GPU 들의 AVG 값 | 2.9.3 | |
| dram_active_1005 | DRAM Active Util | % | 서버 내 개별 GPU의 DRAM 활성 비율 평균값입니다. GPU DRAM 메모리 서브시스템이 활성 상태였던 비율을 나타냅니다. GPU 메모리 대역폭이 얼마나 활발하게 사용되고 있는지를 보여주는 지표로, 메모리 읽기/쓰기 요청이 많거나 메모리 접근 중심의 워크로드에서 높게 나타날 수 있습니다. 값이 높게 지속되면 연산 성능보다 GPU 메모리 대역폭이 병목이 되는 상황일 수 있습니다. 단, 이 값은 FB Memory Used와 같은 메모리 사용 용량이 아니라, GPU DRAM이 실제로 얼마나 바쁘게 동작했는지를 나타내는 활성도 지표입니다. | 장착된 Physical GPU 들의 AVG 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| fb_total_250 | FB Total Memory | MiB | 서버 내 개별 GPU의 FB(Frame Buffer) 전체 메모리 용량을 합산한 값입니다. 서버 전체 GPU 메모리 총량을 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.3 | |
| fb_free_251 | FB Free Memory | MiB | 서버 내 개별 GPU의 FB 여유 메모리 용량을 합산한 값입니다. 서버 전체 GPU 메모리 사용 가능 총량을 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.3 | |
| fb_used_252 | FB Used Memory | MiB | 서버 내 개별 GPU의 FB 사용 메모리 용량을 합산한 값입니다. 서버 전체 GPU 메모리 사용 총량을 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.3 | |
| fb_resv_253 | FB Reserved Memory | MiB | 서버 내 개별 GPU의 FB 예약 메모리 용량을 합산한 값입니다. 시스템/드라이버/펌웨어 등에 의해 예약된 GPU 메모리 총량을 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.3 | |
| fb_USDP_254 | FB Memory Usage | % | 서버 전체 FB 메모리 사용률을 나타내는 지표입니다. 개별 GPU 메모리 사용률을 단순 평균하지 않고, FB Used 합 / FB Total 합 * 100으로 다시 계산한 값입니다. | 장착된 Physical GPU 들의 AVG 값 | 2.9.3 | |
| bar1_total_90 | BAR1 Total Memory | MiB | 서버 내 개별 GPU의 BAR1 전체 용량을 합산한 값입니다. BAR1은 호스트가 GPU 메모리에 접근하기 위해 사용하는 메모리 매핑 영역으로, 서버 전체 BAR1 총량을 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.3 | |
| bar1_used_92 | BAR1 Used Memory | MiB | 서버 내 개별 GPU의 BAR1 사용량을 합산한 값입니다. 서버 전체에서 현재 사용 중인 BAR1 메모리 총량을 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.3 | |
| bar1_free_93 | BAR1 Free Memory | MiB | 서버 내 개별 GPU의 BAR1 여유 용량을 합산한 값입니다. 서버 전체 BAR1 사용 가능 총량을 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.3 | |
| bar1_usdp | BAR1 Memory Usage | % | 서버 전체 BAR1 사용률을 나타내는 지표입니다. 개별 GPU의 비율을 단순 평균하지 않고, BAR1 Used 합 / BAR1 Total 합 * 100으로 다시 계산한 값입니다. | 장착된 Physical GPU 들의 AVG 값 | 2.9.3 | |
| ecc_sbe_aggregate_total_312 | ECC SBE Total | count | 서버 내 개별 GPU의 ECC Single Bit Error 누적 카운터를 합산한 값입니다. 서버 전체에서 누적된 단일 비트 ECC 오류 총량을 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.3 | |
| ecc_dbe_aggregate_total_313 | ECC DBE Total | count | 서버 내 개별 GPU의 ECC Double Bit Error 누적 카운터를 합산한 값입니다. 서버 전체에서 누적된 이중 비트 ECC 오류 총량을 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.3 | |
| ecc_sbe_aggregate_delta_312 | ECC SBE Delta | count | 수집 구간 동안 서버 내 개별 GPU의 ECC Single Bit Error 증가분을 합산한 값입니다. 최근 구간에서 새롭게 발생한 단일 비트 ECC 오류량을 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.16 | |
| ecc_dbe_aggregate_delta_313 | ECC DBE Delta | count | 수집 구간 동안 서버 내 개별 GPU의 ECC Double Bit Error 증가분을 합산한 값입니다. 최근 구간 에서 새롭게 발생한 이중 비트 ECC 오류량을 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.16 | |
| gpu_temp_150 | GPU Temperature | °C | 서버 내 개별 GPU 온도 중 최대값을 나타내는 지표입니다. 서버 전체 GPU 중 가장 높은 온도를 대표하여, 특정 GPU의 과열 여부를 빠르게 식별하는 데 사용합니다. | 장착된 Physical GPU 들중 MAX 값 | 2.9.10 | |
| memTemp_140 | GPU Memory Temperature | °C | 서버 내 개별 GPU Memory 온도 중 최대값을 나타내는 지표입니다. 일반적으로 HBM 또는 GDDR 메모리 기준의 온도이며, 메모리 발열 상태나 냉각 이상 여부를 확인할 때 사용합니다. 메모리 집약적인 워크로드에서는 GPU 코어 온도보다 먼저 상승할 수 있으므로 함께 확인하는 것이 좋습니다. | 장착된 Physical GPU 들중 MAX 값 | 2.9.16 | |
| power_usage_155 | Power Usage | watt | 서버 내 개별 GPU 전력 사용량을 합산한 값입니다. 서버 전체 GPU가 소비 중인 총 전력을 와트(W) 단위로 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.3 | |
| energy_cumulative_daily_kwh | Energy Cumulative | kWh | 당일 00시를 기준으로 누적된 서버 전체 GPU 에너지 사용량을 나타내는 지표입니다. NVIDIA 드라이버/DCGM 등을 통해 수집한 powerUsage 값을 수집 주기 단위로 적산하여 계산한 참고용 추정값으로, 별도 전력 계측기로 측정한 정확한 전력량과는 차이가 있을 수 있습니다. GPU별 전력 사용 추이와 일일 사용 패턴을 참고하는 용도로 활용합니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.16 | |
| fan_speed_191 | Fan Speed | % | 서버 내 개별 GPU 팬 속도의 평균값입니다. 팬이 존재하는 GPU 모델에서 냉각 장치의 동작 수준을 나타냅니다. | 장착된 Physical GPU 들의 AVG 값 | 2.9.3 | |
| sm_clock_100 | SM Clock | MHz | 서버 내 개별 GPU의 SM 클럭 평균값입니다. 연산 유닛이 동작 중인 평균 코어 클럭 수준을 나타냅니다. | 장착된 Physical GPU 들의 AVG 값 | 2.9.3 | |
| memory_clock_101 | Memory Clock | MHz | 서버 내 개별 GPU의 메모리 클럭 평균값입니다. GPU 메모리의 동작 속도 수준을 나타냅니다. | 장착된 Physical GPU 들의 AVG 값 | 2.9.3 | |
| video_clock_102 | Video Clock | MHz | 서버 내 개별 GPU의 비디오 엔진 클럭 평균값입니다. 영상 처리 관련 엔진의 동작 속도 수준을 나타냅니다. | 장착된 Physical GPU 들의 AVG 값 | 2.9.3 | |
| pcie_tx_bytes_1009 | PCIE TX | bytes/s | 서버 내 개별 GPU의 PCIe 송신 처리량을 합산한 값입니다. GPU에서 호스트 또는 외부로 전송된 PCIe 데이터 총량을 bytes/s 단위로 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| pcie_rx_bytes_1010 | PCIE RX | bytes/s | 서버 내 개별 GPU의 PCIe 수신 처리량을 합산한 값입니다. GPU가 호스트 또는 외부로부터 수신한 PCIe 데이터 총량을 bytes/s 단위로 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| pcie_tx_rx_bytes | PCIE Total | bytes/s | 서버 내 개별 GPU의 PCIe 송수신 처리량을 합산한 값입니다. PCIE TX + PCIE RX에 해당하는 서버 전체 PCIe 데이터 이동 총량입니다. | 장착된 Physical GPU 들의 SUM 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.16 |
| nvlink_tx_bytes_1011 | NVLink TX | bytes/s | 서버 내 개별 GPU의 NVLink 송신 처리량을 합산한 값입니다. GPU 간 NVLink를 통해 전송된 데이터 총량을 bytes/s 단위로 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| nvlink_rx_bytes_1012 | NVLink RX | bytes/s | 서버 내 개별 GPU의 NVLink 수신 처리량을 합산한 값입니다. GPU 간 NVLink를 통해 수신된 데이터 총량을 bytes/s 단위로 나타냅니다. | 장착된 Physical GPU 들의 SUM 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| nvlink_tx_rx_bytes | NVLink Total | bytes/s | 서버 내 개별 GPU의 NVLink 송수신 처리량을 합산한 값입니다. NVLink TX + NVLink RX에 해당하는 서버 전체 GPU 간 통신 총량입니다. | 장착된 Physical GPU 들의 SUM 값 | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.16 |
| power_violation_rate_240 | Power Violation Rate | % | 서버 내 개별 GPU 중 전력 제한(power cap) 위반 비율이 가장 높은 값을 대표로 나타낸 지표입니다. 전력 제약으로 인해 성능 제한이 발생한 GPU가 있는지 빠르게 식별하는 데 사용합니다. | 장착된 Physical GPU 들중 MAX 값 | 2.9.16 | |
| thermal_violation_rate_241 | Thermal Violation Rate | % | 서버 내 개별 GPU 중 열 제약(thermal limit) 위반 비율이 가장 높은 값을 대표로 나타낸 지표입니다. 과열로 인한 성능 제한 여부를 빠르게 식별하는 데 사용합니다. | 장착된 Physical GPU 들중 MAX 값 | 2.9.16 | |
| low_util_violation_rate_244 | Low Util Violation Rate | % | 서버 내 개별 GPU 중 저활용(low utilization) 관련 위반 비율이 가장 높은 값을 대표로 나타낸 지표입니다. 설정된 저활용 조건에 해당하는 GPU가 있는지 확인하는 데 사용합니다. | 장착된 Physical GPU 들중 MAX 값 | 2.9.16 | |
| board_limit_violation_rate_243 | Board Limit Violation Rate | % | 서버 내 개별 GPU 중 보드 전체 하드웨어 한계(board limit) 관련 위반 비율이 가장 높은 값을 대표로 나타낸 지표입니다. 전원부·보드 설계 한계 등 보드 수준 제약에 가장 많이 걸린 GPU를 식별할 때 사용합니다. | 장착된 Physical GPU 들중 MAX 값 | 2.9.16 | |
| sync_boost_violation_rate_242 | Sync Boost Violation Rate | % | 서버 내 개별 GPU 중 동기 부스트(sync boost) 관련 위반 비율이 가장 높은 값을 대표로 나타낸 지표입니다. 여러 GPU의 동작 속도를 맞추기 위한 제약에 가장 크게 영향을 받은 GPU를 식별할 때 사용합니다. | 장착된 Physical GPU 들중 MAX 값 | 2.9.16 | |
| reliability_violation_rate_245 | Reliability Violation Rate | % | 서버 내 개별 GPU 중 신뢰성(reliability) 보호 관련 위반 비율이 가장 높은 값을 대표로 나타낸 지표입니다. 안정성과 하드웨어 보호를 위한 제약에 가장 크게 영향을 받은 GPU를 식별할 때 사용합니다. | 장착된 Physical GPU 들중 MAX 값 | 2.9.16 | |
| power_violation_240 | Power Violation | ns | 수집 구간 동안 서버 내 개별 GPU가 전력 제한(power cap) 제약 상태에 머문 시간을 합산한 값입니다. 단위는 ns(나노초)이며, 서버 전체에서 전력 제약으로 인해 성능 제한이 발생한 시간을 총량 관점 에서 보여줍니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.16 | |
| thermal_violation_241 | Thermal Violation | ns | 수집 구간 동안 서버 내 개별 GPU가 열 제한(thermal limit) 제약 상태에 머문 시간을 합산한 값입니다. 단위는 ns(나노초)이며, 서버 전체에서 과열로 인해 성능 제한이 발생한 시간을 총량 관점에서 보여줍니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.16 | |
| low_util_violation_244 | Low Util Violation | ns | 수집 구간 동안 서버 내 개별 GPU가 저활용 관련 제약 상태에 머문 시간을 합산한 값입니다. 단위는 ns(나노초)이며, 서버 전체에서 저활용 조건 위반 상태가 얼마나 지속되었는지를 총량 관점에서 보여줍니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.16 | |
| board_limit_violation_243 | Board Limit Violation | ns | 수집 구간 동안 서버 내 개별 GPU가 보드 한계(board limit) 제약 상태에 머문 시간을 합산한 값입니다. 단위는 ns(나노초)이며, 전원부·보드 설계 한계 등 보드 수준 제약에 가장 많이 걸린 GPU를 식별할 때 사용합니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.16 | |
| sync_boost_violation_242 | Sync Boost Violation | ns | 수집 구간 동안 서버 내 개별 GPU가 sync boost 관련 제약 상태에 머문 시간을 합산한 값입니다. 단위는 ns(나노초)이며, 여러 GPU의 동작 속도를 맞추기 위한 제약에 가장 크게 영향을 받은 GPU를 식별할 때 사용합니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.16 | |
| reliability_violation_245 | Reliability Violation | ns | 수집 구간 동안 서버 내 개별 GPU가 신뢰성(reliability) 보호 제약 상태에 머문 시간을 합산한 값입니다. 단위는 ns(나노초)이며, 안정성과 하드웨어 보호를 위한 제약에 가장 크게 영향을 받은 GPU를 식별할 때 사용합니다. | 장착된 Physical GPU 들의 SUM 값 | 2.9.16 | |
| response_timeout | Response Timeout | string | 일정 시간 동안 NVML을 통한 데이터 수집이 되지 않으면 해당 값을 False로 기록합니다. | 2.9.19 |
infra_gpu_id
서버에 장착된 개별 GPU 1개 단위의 성능/상태 정보를 수집하는 카테고리입니다. GPU별 utilization, SM/DRAM/Tensor/FP 연산 사용률, 메모리 용량/사용량, 온도, 전력, 클럭, PCIe/NVLink, ECC, violation 상태 등을 제공합니다. 특정 GPU의 과열, 전력 제한, 메모리 부족, 인터커넥트 병목을 확인할 때 사용합니다.
- 수집 대상을 Physical / MIG 로 구분하는 기준: 보드/카드 전체 하드웨어 상태를 대표하는 지표 여부에 따라 Physical 만 수집해도 되는 대상의 경우 Physical 지표만을 수집합니다.
- DCP(Datacenter Profiling) 지표 수집을 위해서는 nvidia-dcgm 서비스 ( 또는 nv-hostengine 프로세스 ) 가 기동중이어야 수집이 가능합니다.
- Agent 2.9.16 이상의 버전에서는 nvidiav2.collector=true 설정 시 자동으로 연결가능한 NVML, DCGM Library 를 통해서 메트릭 데이터를 수집합니다. ( nvidia-smi 또는 dcgmi 쿼리를 사용하지 않습니다. )
- 기본 수집 주기: 30s
| Field 카테고리 필드 명 | Title 성능 요약/성능 상세/메트릭스 익스플로러 지표 명 | Unit | Description | 대상 | 메트릭 수집 조건 | 최소 지원 Agent Version |
|---|---|---|---|---|---|---|
| index | GPU Index | string | 서버 내 GPU를 식별하기 위한 인덱스 값이며, OS 또는 드라이버가 인식한 GPU 순번을 의미합니다. | Physical, MIG | 2.9.3 | |
| name_50 | GPU Name | string | 해당 GPU의 모델명을 나타내는 값입니다. 드라이버 버전 또는 수집 경로에 따라 표기 문자열이 조금씩 다를 수 있습니다. | Physical, MIG | 2.9.3 | |
| uuid_54 | GPU UUID | string | 해당 GPU의 고유 식별자(UUID)입니다. 재부팅이나 장치 순서 변경과 무관하게 GPU를 안정적으로 식별할 때 사용합니다. | Physical, MIG | 2.9.3 | |
| gpuType | GPU Type | string | 해당 GPU 의 Type 을 Physical 과 MIG 로 표시 합니다. | Physical, MIG | 2.9.3 | |
| modelFamily | GPU Model Family | string | 해당 GPU 모델을 대표하는 상위 모델군 값을 나타냅니다. 드라이버 버전이나 수집 경로에 따라 동일한 GPU도 모델명이 조금씩 다르게 표시될 수 있으므로, 이를 A100, H100, L4 와 같은 공통 기준의 단순화된 모델명으로 정규화하여 제공합니다. 동일 계열 GPU를 일관되게 분류·집계·비교할 때 사용합니다. | Physical, MIG | 2.9.7 | |
| gpuUtilization | GPU Utilization | % | 해당 GPU의 활용률을 의미합니다. Physical GPU 환경에서는 일반적인 GPU Util 값을 의미하며, MIG 환경에서는 GR Engine Active 값을 대표 GPU 사용률로 해석할 수 있습니다. | Physical, MIG | MIG Enabled 인 환경에서는 nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.6 |
| encUtil_206 | Encoder Util | % | 해당 GPU의 인코더(Encoder) 엔진 활용률을 나타냅니다. 값이 높을수록 NVENC 계열 엔진 사용 비중이 크다는 의미입니다. | Physical | 2.9.3 | |
| decUtil_207 | Decoder Util | % | 해당 GPU의 디코더(Decoder) 엔진 활용률을 나타냅니다. 값이 높을수록 NVDEC 계열 엔진 사용 비중이 크다는 의미입니다. | Physical | 2.9.3 | |
| grEngineActive_1001 | GR Engine Active Util | % | 해당 GPU의 Graphics/Compute Engine 활성 비율을 나타냅니다. MIG 인스턴스 환경에서는 해당 인스턴스의 GPU 사용률을 대표적으로 해석할 수 있는 지표로 활용합니다. | Physical, MIG | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| smActive_1002 | SM Active Util | % | 해당 GPU의 SM(Streaming Multiprocessor) 활성 비율을 나타냅니다. 실제 연산 수행에 사용된 SM 자원의 전반적 사용 수준을 보여줍니다. | Physical, MIG | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| smOccupancy_1003 | SM Occupancy | % | 해당 GPU의 SM Occupancy를 나타냅니다. 활성 워프가 SM에 얼마나 채워져 있는지를 보여주며, 단순 활성률보다 SM 자원 활용 밀도를 더 잘 나타냅니다. | Physical, MIG | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| tensorActive_1004 | Tensor Core Util | % | 해당 GPU의 Tensor Core 활성 비율을 나타냅니다. AI/딥러닝 연산처럼 Tensor Core를 사용하는 워크로드 비중을 파악할 때 유용합니다. | Physical, MIG | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| fp64Active_1006 | FP64 Compute Util | % | 해당 GPU의 FP64 연산 활성 비율을 나타냅니다. 배정밀도(double precision) 연산 부하 수준을 보여줍니다. | Physical, MIG | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| fp32Active_1007 | FP32 Compute Util | % | 해당 GPU의 FP32 연산 활성 비율을 나타냅니다. 단정밀도(single precision) 연산 부하 수준을 보여줍니다. | Physical, MIG | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| fp16Active_1008 | FP16 Compute Util | % | 해당 GPU의 FP16 연산 활성 비율을 나타냅니다. 반정밀도(half precision) 연산 부하 수준을 보여주며, AI 추론/학습 워크로드에서 중요할 수 있습니다. | Physical, MIG | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| memoryCopyUtil_204 | Memory Copy Util | % | 해당 GPU 메모리 복사 엔진의 사용률을 나타냅니다. GPU 메모리와 GPU 내부 연산 영역 간의 데이터 이동, Host ↔ Device 복사, Device ↔ Device 복사 등 메모리 복사 또는 데이터 이동 경로가 얼마나 사용되고 있는지를 보여주는 지표입니다. 값이 높을수록 GPU 연산 자체보다 데이터 이동 부하가 크거나, 메모리 복사 작업이 병목이 될 가능성이 있습니다. 단, 이 값은 메모리 용량 사용률이 아니라 메모리 복사/전송 엔진의 활동 수준으로 해석해야 합니다. MIG enabled 인 Physical GPU는 데이터를 수집할 수 없습니다. | Physical | 2.9.3 | |
| dramActive_1005 | DRAM Active Util | % | 해당 GPU DRAM 메모리 서브시스템이 활성 상태였던 비율을 나타냅니다. GPU 메모리 대역폭이 얼마나 활발하게 사용되고 있는지를 보여주는 지표로, 메모리 읽기/쓰기 요청이 많거나 메모리 접근 중심의 워크로드에서 높게 나타날 수 있습니다. 값이 높게 지속되면 연산 성능보다 GPU 메모리 대역폭이 병목이 되는 상황일 수 있습니다. 단, 이 값은 FB Memory Used와 같은 메모리 사용 용량이 아니라, GPU DRAM이 실제로 얼마나 바쁘게 동작했는지를 나타내는 활성도 지표입니다. | Physical, MIG | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| fbTotal_250 | FB Total Memory | MiB | 해당 GPU의 FB(Frame Buffer) 전체 메모리 용량을 나타냅니다. | Physical, MIG | 2.9.3 | |
| fbFree_251 | FB Free Memory | MiB | 해당 GPU의 FB 여유 메모리 용량을 나타냅니다. 현재 사용 가능한 GPU 메모리 양을 의미합니다. | Physical, MIG | 2.9.3 | |
| fbUsed_252 | FB Used Memory | MiB | 해당 GPU의 FB 사용 메모리 용량을 나타냅니다. 현재 실제로 점유 중인 GPU 메모리 양을 의미합니다. | Physical, MIG | 2.9.3 | |
| fbResv_253 | FB Reserved Memory | MiB | 해당 GPU의 FB 예약 메모리 용량을 나타냅니다. 시스템/드라이버/펌웨어 등에 의해 예약된 GPU 메모리 영역입니다. | Physical, MIG | 2.9.3 | |
| fbUsdp_254 | FB Memory Usage | % | 해당 GPU의 FB 메모리 사용률을 나타내는 지표입니다. FB Used / FB Total * 100으로 계산합니다. | Physical, MIG | 2.9.3 | |
| bar1Total_90 | BAR1 Total Memory | MiB | 해당 GPU의 BAR1 전체 용량을 나타냅니다. BAR1은 호스트가 GPU 메모리에 접근하기 위해 사용하는 메모리 매핑 영역입니다. | Physical, MIG | 2.9.3 | |
| bar1Used_92 | BAR1 Used Memory | MiB | 해당 GPU에서 현재 사용 중인 BAR1 메모리 용량을 나타냅니다. | Physical, MIG | 2.9.3 | |
| bar1Free_93 | BAR1 Free Memory | MiB | 해당 GPU에서 사용 가능한 BAR1 여유 용량을 나타냅니다. | Physical, MIG | 2.9.3 | |
| bar1Usdp | BAR1 Memory Usage | % | 해당 GPU의 BAR1 사용률을 나타내는 지표입니다. BAR1 Used / BAR1 Total * 100으로 계산합니다. | Physical, MIG | 2.9.3 | |
| eccSbeAggregateTotal_312 | ECC SBE Total | count | 해당 GPU에서 누적된 ECC Single Bit Error 총 개수를 나타냅니다. 누적 카운터이므로 지속적인 추세 관찰이 중요합니다. | Physical | 2.9.3 | |
| eccDbeAggregateTotal_313 | ECC DBE Total | count | 해당 GPU에서 누적된 ECC Double Bit Error 총 개수를 나타냅니다. 이중 비트 오류는 단일 비트 오류보다 더 심각한 상황을 의미합니다. | Physical | 2.9.3 | |
| eccSbeAggregateDelta_312 | ECC SBE Delta | count | 최근 수집 구간 동안 새롭게 증가한 ECC Single Bit Error 개수를 나타냅니다. 해당 구간의 신규 단일 비트 오류 발생량을 확인할 때 사용합니다. | Physical | 2.9.16 | |
| eccDbeAggregateDelta_313 | ECC DBE Delta | count | 최근 수집 구간 동안 새롭게 증가한 ECC Double Bit Error 개수를 나타냅니다. 해당 구간의 신규 이중 비트 오류 발생량을 확인할 때 사용합니다. | Physical | 2.9.16 | |
| gpuTemp_150 | GPU Temperature | °C | 해당 GPU의 현재 온도를 나타냅니다. 개별 GPU 기준 과열 여부를 판단하는 대표 지표입니다. | Physical | 2.9.3 | |
| memTemp_140 | GPU Memory Temperature | °C | 해당 GPU 메모리의 현재 온도를 나타냅니다. 일반적으로 HBM 또는 GDDR 메모리 기준의 온도이며, 메모리 발열 상태나 냉각 이상 여부를 확인할 때 사용합니다. 메모리 집약적인 워크로드에서는 GPU 코어 온도보다 먼저 상승할 수 있으므로 함께 확인하는 것이 좋습니다. | Physical | 2.9.16 | |
| powerUsage_155 | Power Usage | watt | 해당 GPU가 현재 소비 중인 전력을 와트(W) 단위로 나타냅니다. | Physical | 2.9.3 | |
| powerRate | Power Rate | % | 해당 GPU의 전력 사용률을 나타냅니다. 전력 사용량 / 전력 한도 * 100으로 해석하며, 전력 한도 대비 어느 수준까지 사용 중인지 보여줍니다. | Physical | 2.9.3 | |
| energyCumulativeDaily | Energy Cumulative | kWh | 당일 00시를 기준으로 누적 계산한 해당 GPU의 일일 에너지 사용량입니다. NVIDIA 드라이버/DCGM 등을 통해 수집한 powerUsage 값을 수집 주기 단위로 적산하여 계산한 참고용 추정값으로, 별도 전력 계측기로 측정한 정확한 전력량과는 차이가 있을 수 있습니다. GPU별 전력 사용 추이와 일일 사용 패턴을 참고하는 용도로 활용합니다. | Physical | 2.9.16 | |
| pstate_190 | Performance State | P | 해당 GPU의 현재 성능 상태(P-state)를 나타내는 값입니다. 숫자가 낮을수록 더 높은 성능 상태를 의미하며, P0가 가장 높은 성능 상태입니다. 값의 범위는 보통 P0부터 P15까지이며, 실제 저장 시에는 접두어 P를 제외한 숫자만 사용합니다. 예를 들어 P0는 0, P2는 2로 저장됩니다. | Physical | 2.9.3 | |
| fanSpeed_191 | Fan Speed | % | 해당 GPU 팬의 현재 속도를 백분율로 나타냅니다. 팬이 존재하는 모델에서 냉각 장치 동작 수준을 보여줍니다. | Physical | 2.9.3 | |
| smClock_100 | SM Clock | MHz | 해당 GPU의 SM 클럭을 MHz 단위로 나타냅니다. 연산 유닛이 동작 중인 코어 클럭 수준을 보여줍니다. | Physical | 2.9.3 | |
| memoryClock_101 | Memory Clock | MHz | 해당 GPU의 메모리 클럭을 MHz 단위로 나타냅니다. GPU 메모리 동작 속도를 보여줍니다. | Physical | 2.9.3 | |
| videoClock_102 | Video Clock | MHz | 해당 GPU의 비디오 엔진 클럭을 MHz 단위로 나타냅니다. 영상 처리 관련 엔진의 동작 속도 수준을 보여줍니다. | Physical | 2.9.3 | |
| pcieTxBytes_1009 | PCIE TX | bytes/s | 해당 GPU에서 PCIe를 통해 외부로 전송된 데이터 처리량을 bytes/s 단위로 나타냅니다. | Physical | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| pcieRxBytes_1010 | PCIE RX | bytes/s | 해당 GPU가 PCIe를 통해 외부로부터 수신한 데이터 처리량을 bytes/s 단위로 나타냅니다. | Physical | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| pcieTxRxBytes | PCIE Total | bytes/s | 해당 GPU의 PCIe 송수신 처리량 합계를 bytes/s 단위로 나타냅니다. PCIE TX + PCIE RX에 해당합니다. | Physical | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.16 |
| nvlinkTxBytes_1011 | NVLink TX | bytes/s | 해당 GPU에서 NVLink를 통해 다른 GPU로 전송된 데이터 처리량을 bytes/s 단위로 나타냅니다. | Physical | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| nvlinkRxBytes_1012 | NVLink RX | bytes/s | 해당 GPU가 NVLink를 통해 다른 GPU로부터 수신한 데이터 처리량을 bytes/s 단위로 나타냅니다. | Physical | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.3 |
| nvlinkTxRxBytes | NVLink Total | bytes/s | 해당 GPU의 NVLink 송수신 처리량 합계를 bytes/s 단위로 나타냅니다. NVLink TX + NVLink RX에 해당합니다. | Physical | nvidia-dcgm service 기동 또는 nv-hostengine 프로세스 기동 필수 | 2.9.16 |
| powerViolationRate_240 | Power Violation Rate | % | 해당 GPU가 전력 제한(power cap) 제약 상태에 있었던 비율을 나타내는 지표입니다. 전력 제한으로 인해 성능 제한이 얼마나 발생했는지를 보여줍니다. | Physical | 2.9.16 | |
| thermalViolationRate_241 | Thermal Violation Rate | % | 해당 GPU가 열 제한(thermal limit) 제약 상태에 있었던 비율을 나타내는 지표입니다. 과열로 인해 성능 제한이 얼마나 발생했는지를 보여줍니다. | Physical | 2.9.16 | |
| lowUtilViolationRate_244 | Low Util Violation Rate | % | 해당 GPU가 저활용(low utilization) 관련 제약 상태에 있었던 비율을 나타내는 지표입니다. 설정된 저활용 조건에 해당하는 상태가 얼마나 발생했는지를 보여줍니다. | Physical | 2.9.16 | |
| boardLimitViolationRate_243 | Board Limit Violation Rate | % | 해 당 GPU가 보드 전체 하드웨어 한계(board limit) 관련 제약 상태에 있었던 비율을 나타내는 지표입니다. 전원부·보드 설계 한계 등 보드 수준 제약으로 인해 성능 제한이 얼마나 발생했는지를 보여줍니다. | Physical | 2.9.16 | |
| syncBoostViolationRate_242 | Sync Boost Violation Rate | % | 해당 GPU가 동기 부스트(sync boost) 관련 제약 상태에 있었던 비율을 나타내는 지표입니다. 여러 GPU의 동작 속도를 맞추기 위한 제약으로 인해 성능 제한이 얼마나 발생했는지를 보여줍니다. | Physical | 2.9.16 | |
| reliabilityViolationRate_245 | Reliability Violation Rate | % | 해당 GPU가 신뢰성(reliability) 보호 관련 제약 상태에 있었던 비율을 나타내는 지표입니다. 안정성과 하드웨어 보호를 위한 제약으로 인해 성능 제한이 얼마나 발생했는지를 보여줍니다. | Physical | 2.9.16 | |
| powerViolation_240 | Power Violation | ns | 수집 구간 동안 해당 GPU가 전력 제한(power cap) 제약 상태에 머문 시간을 나타내는 값입니다. 단위는 ns(나노초)이며, 전력 제한으로 인해 성능 제한이 발생한 시간을 보여줍니다. | Physical | 2.9.16 | |
| thermalViolation_241 | Thermal Violation | ns | 수집 구간 동안 해당 GPU가 열 제한(thermal limit) 제약 상태에 머문 시간을 나타내는 값입니다. 단위는 ns(나노초)이며, 과열로 인해 성능 제한이 발생한 시간을 보여줍니다. | Physical | 2.9.16 | |
| lowUtilViolation_244 | Low Util Violation | ns | 수집 구간 동안 해당 GPU가 저활용 관련 제약 상태에 머문 시간을 나타내는 값입니다. 단위는 ns(나노초)이며, 저활용 조건 위반 상태가 얼마나 지속되었는지를 보여줍니다. | Physical | 2.9.16 | |
| boardLimitViolation_243 | Board Limit Violation | ns | 수집 구간 동안 해당 GPU가 보드 전체 하드웨어 한계(board limit) 관련 제약 상태에 머문 시간을 나타내는 값입니다. 단위는 ns(나노초)이며, 보드 수준 제약으로 인해 성능 제한이 발생한 시간을 보여줍니다. | Physical | 2.9.16 | |
| syncBoostViolation_242 | Sync Boost Violation | ns | 수집 구간 동안 해당 GPU가 동기 부스트(sync boost) 관련 제약 상태에 머문 시간을 나타내는 값입니다. 단위는 ns(나노초)이며, 여러 GPU의 동작 속도를 맞추기 위한 제약으로 인해 성능 제한이 발생한 시간을 보여줍니다. | Physical | 2.9.16 | |
| reliabilityViolation_245 | Reliability Violation | ns | 수집 구간 동안 해당 GPU가 신뢰성(reliability) 보호 관련 제약 상태에 머문 시간을 나타내는 값입니다. 단위는 ns(나노초)이며, 안정성과 하드웨어 보호를 위한 제약으로 인해 성능 제한이 발생한 시간을 보여줍니다. | Physical | 2.9.16 |
infra_gpu_process
GPU를 사용하는 개별 프로세스 단위의 GPU 및 시스템 자원 사용 정보를 수집하는 카테고리입니다. GPU index/UUID, PID, process name/type, SM 사용률, memory controller 사용률, encoder/decoder 사용률, FB memory 사용량, 보호 메모리(CCPM) 등을 제공합니다. 또한 CPU 사용률, RSS 메모리, process I/O 정보를 함께 제공하여, GPU 자원 사용 원인뿐 아니라 CPU·메모리·I/O 병목 가능성까지 프로세스 관점에서 분석할 수 있습니다.
- Agent 2.9.16 이상부터는 nvidiav2.collector=true 설정 시 MIG 환경에서 프로세스와 MIG 의 연결관계를 확인할 수 있습니다.
- 기본 수집 주기: 30s
| Field 카테고리 필드 명 | Title 성능 요약/성능 상세/메트릭스 익스플로러 지표 명 | Unit | Description | 비고 | 메트릭 수집 조건 | 최소 지원 Agent Version |
|---|---|---|---|---|---|---|
| index | GPU Index | string | 해당 프로세스가 실행 중인 GPU의 index 값을 의미합니다. 서버 내에서 GPU를 구분하기 위한 순번으로 사용합니다. | Agent 2.9.16 이상 : MIG 에 할당된 프로세스 정보 확인 가능 | 2.9.3 | |
| uuid | GPU UUID | string | 해당 프로세스가 실행 중인 GPU의 UUID를 의미합니다. GPU의 고유 식별자로, index와 달리 장치 순서 변경과 무관하게 GPU를 안정적으로 식별할 때 사용합니다. | 2.9.3 | ||
| pid | Process ID | string | GPU를 사용 중인 프로세스의 PID(Process ID)를 의미합니다. | 2.9.3 | ||
| process_name | Process Command | string | GPU를 사용하는 프로세스의 이름을 의미합니다. 예를 들어 python, cuda_program, Xorg 등이 표시될 수 있습니다. | 2.9.3 | ||
| process_type | Process Type | string | 실행 중인 GPU 프로세스의 유형을 의미합니다. C는 Compute 프로세스(CUDA, AI/연산 작업), G는 Graphics 프로세스(GUI, 렌더링, 디스플레이 가속)를 의미합니다. 환경에 따라 두 유형이 함께 존재할 수 있습니다. | 2.9.3 | ||
| owner | Owner | string | 해당 프로세스를 실행한 사용자 계정(user)을 나타내는 값입니다. | 2.9.16 | ||
| args | Arguments | string | 해당 프로세스의 실행 arguments(명령행 인자)를 나타내는 값입니다. | 2.9.16 | ||
| stime | StartTime | string | 해당 프로세스의 시작 시각을 epoch time 기준으로 나타낸 값입니다. | 2.9.16 | ||
| gpu_utilization | GPU Utilization | % | 해당 프로세스가 수집 시점에 바인딩된 GPU의 장치 전체 GPU Utilization을 표시합니다. 이 값은 프로세스별로 직접 측정한 GPU 사용률이 아니라, 해당 프로세스가 연결된 GPU의 전체 사용률을 프로세스 정보와 함께 보여주는 값입니다. 따라서 동일 GPU를 사용하는 여러 프로세스에는 동일하거나 유사한 값이 표시될 수 있으며, 이 값만으로 개별 프로세스가 GPU 사용률에 얼마나 기여했는지를 판단해서는 안 됩니다. | 2.9.16 | ||
| sm_util | SM Util | % | 해당 프로세스가 GPU의 SM(Streaming Multiprocessor) 연산 자원을 얼마나 사용하고 있는지를 나타내는 비율입니다. 실제 연산 수행에 사용된 GPU 코어 자원의 활용 수준을 보여주며, 값이 높을수록 해당 프로세스가 GPU 연산 자원을 강하게 사용하고 있음을 의미합니다. 단, 이 값은 프로세스 관점의 SM 사용률이며, GPU 장치 전체를 기준으로 측정되는 SM Active Util(%)과는 측정 기준이 다를 수 있습니다. 따라서 특정 프로세스의 SM Util이 높더라도, GPU 전체 관찰 구간의 대기 시간, 커널 간 간격, 다른 프로세스와의 스케줄링, MIG/Time-slicing 영향 등에 따라 GPU의 SM Active Util은 더 낮거나 다르게 나타날 수 있습니다. ( MIG Instance를 사용하는 프로세스의 경우, 드라이버 및 모니터링 인터페이스의 제공 범위 제한으로 인해 프로세스별 SM Util 값이 수집되지 않거나 화면에 표시되지 않을 수 있습니다. ) | 2.9.3 | ||
| mem_controller_util | Memory Controller Util | % | 해당 프로세스가 GPU 메모리 컨트롤러를 얼마나 사용하고 있는지를 나타내는 비율입니다. VRAM 용량을 얼마나 점유하고 있는지가 아니라, GPU 메모리에 대한 읽기/쓰기 및 데이터 이동 요청이 얼마나 활발했는지를 보여주는 지표입니다. 값이 높을수록 해당 프로세스가 메모리 대역폭 또는 메모리 접근 경로를 많이 사용하고 있을 가능성이 있습니다. 단, 이 값은 프로세스 관점의 메모리 컨트롤러 사용률이며, GPU 장치 전체를 기준으로 측정되는 Memory Copy Util(%) 또는 DRAM Active Util(%) 과는 의미가 다릅니다. Memory Copy Util은 GPU 전체의 메모리 복사/전송 엔진 사용률에 가깝고, DRAM Active Util은 GPU DRAM이 관찰 구간 동안 읽기/쓰기 요청으로 활성 상태였던 비율에 가깝습니다. ( MIG Instance를 사용하는 프로세스의 경우, 드라이버 및 모니터링 인터페이스의 제공 범위 제한으로 인해 프로세스별 Memory Controller Util 값이 수집되지 않거나 화면에 표시되지 않을 수 있습니다. ) | 2.9.15 | ||
| enc_util | Encoder Util | % | 해당 프로세스가 GPU 인코더(Encoder) 엔진을 얼마나 사용하고 있는지를 나타내는 비율입니다. 주로 비디오 인코딩, 스트리밍, 영상 저장/압축 작업에서 증가합니다. | 2.9.3 | ||
| dec_util | Decoder Util | % | 해당 프로세스가 GPU 디코더(Decoder) 엔진을 얼마나 사용하고 있는지를 나타내는 비율입니다. 주로 압축된 비디오 스트림의 디코딩, 재생, 영상 분석 전처리 과정에서 증가합니다. | 2.9.3 | ||
| fb_used | FB Used | MiB | 해당 프로세스가 사용 중인 Frame Buffer(GPU 메모리) 크기를 나타냅니다. 단위는 MiB이며, 이 프로세스가 점유하고 있는 VRAM 사용량으로 해석할 수 있습니다. | 2.9.3 | ||
| ccpm | CCPM | MiB | 해당 프로세스가 사용 중인 Confidential Computing Protected Memory 사용량을 나타냅니다. 단위는 MiB이며, NVIDIA H100과 같이 Confidential Computing을 지원하는 GPU에서 활용할 수 있습니다. 해당 기능을 지원하지 않는 GPU에서는 0으로 표시될 수 있습니다. | 2.9.3 | ||
| cpu | CPU | % | 해당 프로세스가 사용한 전체 CPU 사용률을 의미합니다. | 2.9.15 | ||
| rss | RSS | Byte | 해당 프로세스의 RSS(Resident Set Size)값이며 현재 시스템 메모리에 적재된 메모리 크기를 의미합니다. | 2.9.15 | ||
| total_char_io | Process IO Total | Bytes/s | 해당 프로세스가 초당 발생시키는 전체 Character 기반 I/O(char I/O) 처리량을 의미합니다. 디스크뿐 아니라 파이프, 터미널, 버퍼, 캐시 계층에 대한 I/O까지 포함될 수 있으므로, 실제 물리 디스크 I/O보다 클 수 있습니다. | 2.9.15 |
infra_gpu_xid
NVIDIA 드라이버가 /var/log/messages에 기록한 NVRM: Xid 로그를 파싱하여 GPU 장애/이벤트 이력을 수집하는 카테고리입니다. Xid Code, GPU Index, PCI Bus ID, 관련 PID/프로세스명, 원문 메시지를 제공하여 GPU 오류 발생 시점, 대상 GPU, 관련 프로세스, 오류 유형을 추적하는 데 사용합니다. Xid는 단순 애플리케이션 오류부터 드라이버·하드웨어·PCIe 문제까지 다양한 원인을 포함할 수 있으므로, 코드 의미와 발생 빈도, GPU 상태 지표, 시스템 로그를 함께 분석하는 것이 중요합니다.
- Agent 2.9.19 이상부터 지원합니다.
- 기본 수집 주기: 60s
| Field 카테고리 필드 명 | Title 성능 요약/성능 상세/메트릭스 익스플로러 지표 명 | Unit | Description | 비고 | 메트릭 수집 조건 | 최소 지원 Agent Version |
|---|---|---|---|---|---|---|
| index | GPU Index | string | Xid 이벤트가 발생한 GPU의 인덱스입니다. 서버 내 GPU 장치를 식별하기 위한 번호이며, nvidia-smi에서 표시되는 GPU Index와 매칭하여 장애가 발생한 GPU를 확인할 때 사용합니다. | 2.9.19 | ||
| pcieBusId | PCI Bus ID | string | Xid 이벤트가 발생한 GPU의 PCI Bus ID입니다. GPU Index가 변경될 수 있는 환경에서 물리 GPU를 식별하기 위한 보조 식별자로 사용할 수 있으며, 동일 서버 내 GPU 장치 위치를 확인 할 때 참고합니다. | 2.9.19 | ||
| agentTimestamp | Agent Timestamp | string | /var/log/messages에 기록된 실제 이벤트 발생 시각입니다. | 2.9.19 | ||
| xidCode | XID Code | string | NVIDIA 드라이버에서 보고한 Xid 오류 코드입니다. GPU 드라이버, 하드웨어, PCIe, 메모리, 애플리케이션 오류 등 다양한 GPU 이상 상태를 구분하는 코드이며, 코드별 의미를 기준으로 장애 원인 분석과 RMA(Return Merchandise Authorization) 필요 여부를 판단할 때 활용합니다. | 2.9.19 | ||
| pid | PID | string | Xid 로그에 포함된 프로세스 ID입니다. 특정 프로세스 실행 중 GPU 오류가 발생한 경우 원인 프로세스를 추적하기 위해 사용합니다. 로그에 PID 정보가 없거나 드라이버/하드웨어 수준에서 발생한 이벤트인 경우 값이 없을 수 있습니다. | 2.9.19 | ||
| taskName | Task Name | string | Xid 발생 시 NVIDIA 드라이버가 기록한 Task Name입니다. Linux의 /proc/{pid}/comm 또는 thread별 /proc/{pid}/task/{tid}/comm 값에 해당하는 짧은 이름으로, 전체 실행 명령어(cmdline)를 의미하지 않습니다. 멀티스레드 애플리케이션에서는 동일 PID라도 오류가 기록된 task에 따라 python3, pt_nccl_watchdg처럼 서로 다른 이름이 표시될 수 있습니다. 따라서 실제 애플리케이션 식별 시에는 PID, GPU PCI 주소, GPU UUID, cmdline 정보와 함께 해석하는 것이 좋습니다. | 2.9.19 | ||
| message | Message | string | /var/log/messages에서 파싱한 NVRM: Xid 로그의 상세 메시지입니다. Xid 코드 외에 GPU UUID, PCI 정보, 채널 정보, 프로세스 정보, 오류 상세 문구 등이 포함될 수 있으며, 장애 원인 분석 시 원 문 확인용으로 사용합니다. | 2.9.19 |