GPU 대시보드
GPU 자원의 할당부터 실제 활용까지의 흐름과 디바이스별 상태를 맵으로 추적할 수 있는 쿠버네티스 관점의 GPU 대시보드입니다.
-
Total부터 Effective까지 단계별 자원 흐름을 퍼널로 제공하여 할당 대비 실제 활용 수준을 한눈에 파악할 수 있습니다.
-
디바이스 단위 GPU Map으로 클러스터·노드·네임스페이스 기준의 자원 분포와 상태를 시각적으로 확인할 수 있습니다.
-
낭비 자원만 필터링하는 토글을 제공하여 할당되었으나 활용되지 않는 GPU를 빠르게 식별할 수 있습니다.
GPU 메뉴는 GPU 대시보드, GPU 목록, GPU 트렌드, GPU 워크로드 페이지로 구성됩니다. 이 문서는 자원 활용 현황과 디바이스 맵을 제공하는 GPU 대시보드 페이지를 다룹니다.
권한 및 조건
-
지원 환경: 쿠버네티스 클러스터 프로젝트
-
에이전트 버전: 쿠버네티스 에이전트 버전 1.8.7 이상 (개발팀 컨펌 필요)
-
오픈 에이전트 설치 필요
기본 화면
클러스터 내 GPU 자원의 활용 현황과 디바이스별 상태를 한눈 에 파악할 수 있는 시각화 대시보드입니다.
화면 위쪽에는 LIVE 시각과 모든 낭비 자원만 보기 토글이 있습니다. 토글을 켜면 GPU Map에 낭비 자원으로 분류된 디바이스만 표시됩니다.
-
모든 낭비 자원만 보기 토글은 GPU Map의 표시 대상을 필터링하며, GPU 활용 현황 퍼널의 집계 값에는 영향을 주지 않습니다.
-
화면 위쪽 시간 선택자에서
버튼을 선택하면 과거 시간의 데이터를 조회할 수 있습니다.
GPU 활용 현황
GPU 자원이 할당된 후 실제로 활용되기까지의 흐름을 퍼널 차트로 제공합니다. 단계는 Total, Allocated, Active, Effective 순으로 좁혀지며, 각 단계에서 활용되지 못한 자원은 Idle, Not Effective로 분리되어 표시됩니다.
| Stage | Description |
|---|---|
| Total | 전체 물리 장치 |
| Allocated | 프로세스 또는 Pod가 할당된 장치 |
| Active | 5분 평균 GPU 사용률(Utilization)이 1% 이상인 장치 |
| Idle | 5분 평균 GPU 사용률이 1% 미만인 장치 |
| Effective | GPU 사용률이 50%를 초과하는 장치 |
| Not Effective | GPU 사용률이 50% 이하인 장치 |
위 화면 예시에서는 Total 8개 중 8개가 Allocated, 그중 Active 4개·Idle 4개로 나뉘고, Active 중 Effective 2개·Not Effective 2개로 분류됩니다.
Idle과 Not Effective는 할당되었으나 충분히 활용되지 못한 장치로, 자원 낭비를 점검하는 기준이 됩니다.
GPU Map
조회 시점에 수집된 GPU 디바이스를 맵으로 표시합니다. 노드 단위 카드 안에 각 디바이스가 박스로 배치되며, 카드 위쪽에서 해당 노드의 디바이스·네임스페이스·서비스·모델 수와 GPU 사용률 요약을 확인할 수 있습니다.
컨트롤
| Control | Option | Description |
|---|---|---|
| Group | Cluster / Node / Namespace / Service / Model | 디바이스를 묶는 기준 |
| Color by | Status / Utilization / VRAM(%) / Temp | 디바이스 박스 색상의 기준 지표 |
| Util 기준 | 평균 / 최솟값 / 최댓값 | 사용률 표시에 사용할 통계값 |
| 물리 장비 단위 그룹화 | 켜기 / 끄기 | 물리 장비 단위로 디바이스를 묶어 표시 |
| 그룹명 검색 | 텍스트 입력 | 그룹명으로 표시 대상 필터링 |
노드 카드와 디바이스 박스
각 노드 카드는 해당 노드에 장착된 디바이스를 박스로 표시합니다. 카드 위쪽 요약에는 다음 정보가 표시됩니다.
-
Device n (Physical n): 디바이스 수와 물리 장치 수
-
Namespace n / Service n / Model n: 노드에 연관된 네임스페이스·서비스·모델 수
-
GPU Util (min / avg / max): 노드 GPU 사용률의 최솟값·평균·최댓값
디바이스 박스는 상태에 따라 다르게 표시됩니다.
| Display | Meaning |
|---|---|
| MIG 표기 박스 | MIG 인스턴스로 분할된 디바이스 |
| 색상 박스 | Active 디바이스, Color by 기준에 따라 색상 결정 |
| 회색 박스 | Idle 디바이스(5분 평균 GPU 사용률 1% 미만) |
범례에서는 Active와 Idle을 색상으로 구분합니다.
디바이스 박스에 마우스를 올리면 디바이스 종류(Physical/MIG), GPU Utilization, Status, Device, Pod, Node, Namespace, Service 정보를 확인할 수 있습니다.
-
Color by 옵션을 변경하면 같은 디바이스라도 기준 지표(상태·사용률·VRAM·온도)에 따라 색상이 달라집니다.
-
MIG로 분할된 디바이스는 물리 장치 1개가 여러 인스턴스로 표시되므로, 디바이스 수와 물리 장치 수가 다를 수 있습니다.
상세 보기
GPU 맵 또는 GPU 목록 좌측 상세 아이콘을 클릭하면 선택한 GPU의 관계도와 메트릭 추이를 확인할 수 있습니다.