본문으로 건너뛰기

LLM 대시보드

LLM 대시보드는 LLM(Large Language Model) API의 요청량, 응답 성능, 토큰 사용량, 비용, 에러 현황을 한 화면에서 실시간으로 모니터링하는 메뉴입니다. 화면 위에서 아래로 실시간 상태 → 요청과 성능 → 토큰과 비용 → 비교와 에러 순서로 위젯이 배치되어, 현황 파악부터 원인 분석까지 자연스럽게 따라갈 수 있습니다. 이 구성은 기본 프리셋으로 저장되어 있으며, 별도 설정 없이 즉시 모니터링을 시작할 수 있습니다.

LLM 대시보드

LLM 대시보드는 기본 프리셋 기준으로 5개 영역으로 구성됩니다.

영역이름설명
①옵션바조회 시간, 에이전트 필터, 화면 모드, 프리셋을 설정합니다.
②실시간 상태현재 트랜잭션 속도, LLM 호출 유형, 액티브 HTTPC, 히트맵을 실시간으로 확인합니다.
③LLM 성능 지표API 요청량, TTFT·TPOT 백분위, 출력 토큰 처리량으로 LLM 응답 품질을 파악합니다.
④토큰 및 비용입출력 토큰 사용량, 요청당 평균 토큰, 금일 비용을 추적합니다.
⑤모델별 비교·분석모델 간 성능·토큰·에러를 비교하고 상태 코드별 요청 건수를 확인합니다.

옵션바​

대시보드 상단 옵션바에서 조회 시간, 에이전트 필터, 화면 모드(고정/스크롤), 프리셋을 설정합니다. 각 기능의 상세 사용법은 대시보드 공통 기능 문서를 참조하세요.

실시간 상태​

애플리케이션의 실시간 상태를 보여줍니다.

  • 액티브 트랜잭션 스피드 — 초당 요청 수(RPS)와 응답 수(TPS), 진행 중인 트랜잭션 건수를 실시간으로 표시합니다.

  • LLM 액티브 스테이터스 — 현재 처리 중인 LLM 호출을 유형별(chat, completion 등)로 구분해 보여줍니다.

  • 액티브 HTTPC — 외부 LLM API로 나가는 HTTP 요청의 실시간 상태를 속도 구간(Very Slow, Slow, Normal)으로 분류합니다.

  • 히트맵 — 완료된 트랜잭션의 응답 시간을 시간 축(X)과 경과 시간 축(Y)에 점으로 표시합니다. 점이 위로 올라갈수록 응답이 느린 트랜잭션입니다.

LLM 성능 지표​

LLM API의 핵심 성능 지표를 모아 봅니다.

  • LLM API 요청 수 — 시간대별 요청 건수(바)와 에러율(라인)을 함께 표시합니다. 요청 급증과 에러율 상승이 동시에 나타나면 Rate Limit 초과나 프로바이더 장애를 의심할 수 있습니다.

  • 백분위 TTFT — 첫 번째 토큰이 도착하기까지 걸린 시간(Time To First Token)을 p50·p75·p95·p99 백분위로 보여줍니다. TTFT가 높으면 사용자가 체감하는 초기 대기 시간이 길어집니다.

  • 백분위 TPOT — 토큰 하나를 생성하는 데 걸리는 시간(Time Per Output Token)을 백분위로 보여줍니다. TPOT가 높으면 스트리밍 응답이 끊기거나 느려질 수 있습니다.

  • 출력 토큰 처리량 — 초당 출력 토큰 수(tok/s)를 표시합니다. 처리량이 갑자기 떨어지면 프로바이더 측 성능 저하를 의심할 수 있습니다.

토큰 및 비용​

토큰 사용량과 비용을 추적합니다.

  • 토큰 사용량 — 시간대별 입력(Input)·출력(Output) 토큰 사용량을 추이 차트로 보여줍니다.

  • 요청당 평균 토큰 — 요청 한 건당 평균 입력·출력 토큰 수를 표시합니다. 프롬프트 최적화 효과를 확인할 때 유용합니다.

  • 금일 비용 — 오늘 누적 비용과 전일 대비 증감을 표시합니다. 비용 이상 징후를 빠르게 감지할 수 있습니다.

모델별 비교·분석​

모델별 성능·토큰·에러를 비교합니다.

  • 종합 성능 비교 — 모델별 TTFT p95, TPOT p95를 한 차트에서 비교합니다. 모델 교체나 버전 업그레이드 효과를 판단할 때 유용합니다.

  • 토큰 사용 분포 — 모델별 입력·출력 토큰 사용량을 에이전트, 프로바이더, 오퍼레이션, 엔드포인트 기준으로 비교합니다.

  • 에러율 분포 — 모델별 에러율을 에이전트, 프로바이더, 오퍼레이션, 엔드포인트 기준으로 비교합니다. 특정 모델에서 에러가 집중되는지 빠르게 확인할 수 있습니다.

  • 상태코드별 요청 건수 — HTTP 상태 코드(4xx, 5xx)별 요청 건수를 시간대별로 표시합니다.

노트

위젯 편집, 위젯 옵션, 프리셋 등 대시보드 공통 기능은 대시보드 공통 기능 문서를 참조하세요.

각 위젯의 차트 유형, 필터, 활용 방법은 LLM 대시보드 위젯 문서를 참조하세요.

최종 수정: