종합 현황 대시보드
종합 현황 대시보드는 LLM(Large Language Model) API의 요 청량, 응답 성능, 토큰 사용량, 비용, 에러 현황을 한 화면에서 실시간으로 모니터링하는 메뉴입니다. 화면 위쪽에는 실시간 상태(액티브 트랜잭션 스피드, LLM 액티브 스테이터스, 액티브 LLM API, 액티브 트라젝토리, 히트맵)와 백분위 TTFT, 백분위 TPOT가 있습니다. 가운데 줄에는 LLM API 요청 수, 토큰 사용 분포, 종합 성능 비교, 출력 토큰 처리량이, 맨 아래 줄에는 토큰 사용량, 요청당 평균 토큰, 금일 누적 비용이 배치되어 현황 파악부터 원인 분석까지 따라갈 수 있습니다. 이 구성은 기본 프리셋으로 저장되어 있으며, 별도 설정 없이 즉시 모니터링을 시작할 수 있습니다.
종합 현황 대시보드는 기본 프리셋 기준으로 5개 영역으로 구성됩니다.
| 영역 | 이름 | 설명 |
|---|---|---|
| ① | 옵션바 | 조회 시간, 애플리케이션 필터, 화면 모드, 프리셋을 설정합니다. |
| ② | 실시간 상태 | 액티브 트랜잭션 스피드, LLM 액티브 스테이터스, 액티브 LLM API, 액티브 트라젝토리, 히트맵으로 현재 상태를 확인합니다. |
| ③ | LLM 성능 지표 | 백분위 TTFT, 백분위 TPOT, LLM API 요청 수, 출력 토큰 처리량으로 응답 성능을 파악합니다. |
| ④ | 모델별 비교 | 토큰 사용 분포, 종합 성능 비교로 모델 간 차이를 확인합니다. |
| ⑤ | 토큰 및 비용 | 토큰 사용량, 요청당 평균 토큰, 금일 누적 비용을 추적합니다. |
옵션바
대시보드 상단 옵션바에서 조회 시간, 애플리케이션 필터, 화면 모드(고정/스크롤), 프리셋을 설정합니다. 각 기능의 상세 사용법은 대시보드 공통 기능 문서를 참조하세요.
차트 위젯의 조회 구간은 선택한 시각을 기준으로 한 최근 10분입니다. 액티브 트랜잭션 스피드, LLM 액티브 스테이터스, 액티브 LLM API, 액티브 트라젝토리는 선택한 시각에 진행 중인 상태를, 금일 누적 비용은 그날 0시부터 선택한 시각까지의 누적 비용을 보여 줍니다. 실시간 모드에서는 5초마다 갱신됩니다.
실시간 상태
애플리케이션의 실시간 상태를 보여 줍니다.
-
액티브 트랜잭션 스피드: 초당 요청 수(RPS)와 응답 수(TPS), 진행 중인 트랜잭션 건수를 실시간으로 표시합니다.
-
LLM 액티브 스테이터스: 현재 처리 중인 LLM 호출을 오퍼레이션 유형별로 구분해 보여 줍니다.
-
액티브 LLM API: 지금 실행 중인 LLM API 호출을 모델별 트랙 위에 점으로 표시하고, 경과 시간에 따라
Normal,Slow,Very Slow구간으로 나눕니다. 모델 줄을 클릭하면 해당 모델의 실행 중 호출 목록이 열립니다. -
액티브 트라젝토리: 진행 중인 트라젝토리 수와
Light,Middle,Heavy등급별 분포를 표시합니다. 실시간 모드에서 궤도 차트를 클릭하면 전체 트라젝토리 목록이, 등급을 클릭하면 그 등급의 목록이 열립니다. 목록에서는 정지 버튼으로 실행 중인 트라젝토리를 중지할 수 있습니다(프로젝트 수정 권한 필요). 자세한 내용은 트라젝토리 뷰와 중지 문서를 참조하세요. -
히트맵: 완료된 트랜잭션의 응답 시간을 시간 축(X)과 경과 시간 축(Y)에 점으로 표시합니다. 점이 위로 올라갈수록 응답이 느린 트랜잭션입니다. 히트맵에서 영역을 드래그하면 그 구간의 트랜잭션 목록과 LLM 트레이스 상세가 새 창으로 열립니다.
LLM 성능 지표
LLM API의 핵심 성능 지표를 모아 봅니다.
-
LLM API 요청 수: 시간대별 요청 건수(바)와 에러율(라인)을 함께 표시합니다. 요청 급증과 에러율 상승이 동시에 나타나면 Rate Limit 초과나 프로바이더 장애를 의심할 수 있습니다.
-
백분위 TTFT: 첫 번째 토큰이 도착하기까지 걸린 시간(Time To First Token)을 p50, p75, p95, p99 백분위로 보여 줍니다. TTFT가 높으면 사용자가 체감하는 초기 대기 시간이 길어집니다.
-
백분위 TPOT: 토큰 하나를 생성하는 데 걸리는 시간(Time Per Output Token)을 백분위로 보여 줍니다. TPOT가 높으면 스트리밍 응답이 끊기거나 느려질 수 있습니다.
-
출력 토큰 처리량: 초당 출력 토큰 수(tok/s)를 표시합니다. 처리량이 갑자기 떨어지면 프로바이더 측 성능 저하를 의심할 수 있습니다.
모델별 비교
모델별 성능, 토큰을 비교합니다.
-
종합 성능 비교: 모델별 TTFT p95, TPOT p95를 한 차트에서 비교합니다. 모델 교체나 버전 업그레이드 효과를 판단할 때 유용합니다.
-
토큰 사용 분포: 모델별 입력 및 출력 토큰 사용량을 애플리케이션, 프로바이더, 오퍼레이션, 엔드포인트 기준으로 비교합니다.
토큰 및 비용
토큰 사용량과 비용을 추적합니다.
-
토큰 사용량: 시간대별 입력(Input), 출력(Output) 토큰 사용량을 추이 차트로 보여 줍니다.
-
요청당 평균 토큰: 요청 한 건당 평균 입력 및 출력 토큰 수를 표시합니다. 프롬프트 최적화 효과를 확인할 때 유용합니다.
-
금일 누적 비용: 오늘 누적 비용과 전일 대비 증감을 표시합니다. 비용 이상 징후를 빠르게 감지할 수 있습니다.
위젯 편집, 위젯 옵션, 프리셋 등 대시보드 공통 기능은 대시보드 공통 기능 문서를 참조하세요.
각 위젯의 차트 유형, 필터, 활용 방법은 종합 현황 대시보드 위젯 문서를 참조하세요.
AI 에이전트 단위로 현황을 보려면 AI 에이전트 메인 대시보드 문서를 참조하세요.
에러율 분포와 상태코드별 요청 건수는 LLM API 성능 대시보드에서 확인할 수 있습니다.