종합 현황 대시보드 위젯 레퍼런스

이 문서는 종합 현황 대시보드에서 제공하는 위젯을 대시보드 영역별로 정리한 레퍼런스입니다. 각 위젯의 차트 유형, 필터, 활용 방법을 확인할 수 있습니다. 대시보드의 전체 화면 구성과 기본 프리셋은 종합 현황 대시보드 문서를 참조하세요.

제공 위젯

요약 건수

Widget	Description
트라젝토리 건수	조회 구간에 새로 시작된 트라젝토리 합계
LLM API 호출 건수	조회 구간의 LLM API 호출 합계
도구 호출 건수	조회 구간의 도구 호출(tool use) 합계

LLM 성능 지표

Widget	Description
LLM API 요청 수	시간대별 요청 건수 + 에러율
상태 코드별 요청 건수	HTTP 상태 코드(2xx/4xx/5xx) 분포
Latency 평균	시간대별 평균 응답 시간 추이
Latency 백분위	Latency p50, p75, p95, p99 추이
Latency 백분위 개별 위젯	백분위수별 개별 위젯
Latency 분포 비교	모델별 Latency 박스플롯
TTFT 평균	시간대별 TTFT 평균 추이
TTFT 백분위	TTFT p50, p75, p95, p99 추이
TTFT 백분위 개별 위젯	백분위수별 개별 위젯
TTFT 분포 비교	모델별 TTFT 박스플롯
TPOT 평균	시간대별 TPOT 평균 추이
TPOT 백분위	TPOT p50, p75, p95, p99 추이
TPOT 백분위 개별 위젯	백분위수별 개별 위젯
TPOT 분포 비교	모델별 TPOT 박스플롯
종합 성능 비교	모델별 TTFT, TPOT, Output TPS 비교
출력 토큰 처리량	초당 출력 토큰 수(tok/s)

토큰 및 비용

Widget	Description
토큰 사용량	시간대별 입력 및 출력 토큰 추이
요청당 평균 토큰	요청 1건당 평균 입력 및 출력 토큰
토큰 사용 분포	모델별 입력 및 출력 토큰 총량 비교
금일 토큰 사용량	금일 누적 토큰 + 전일 대비
캐시 적중률	캐시 토큰 비율(%) 추이
캐시 적중률 분포	모델별 캐시 적중률 비교
캐시 절감 비용	캐싱으로 절약한 금액($) 추이
캐시 절감 비용 분포	모델별 캐시 절감 비용 비교
비용 사용량	시간대별 입력 및 출력 비용($) 추이
요청당 평균 비용	요청 1건당 평균 비용
비용 사용 분포	모델별 비용 총량 비교
금일 비용	금일 누적 비용 + 전일 대비

모델별 비교 및 분석

Widget	Description
종합 성능 비교	모델별 TTFT, TPOT, Output TPS 비교
토큰 사용 분포	모델별 입력 및 출력 토큰 총량 비교
에러율 분포	모델별 에러율(%) 비교
에러 건수	시간대별 API 에러, 프로그램 에러 건수
상태 코드별 요청 건수	HTTP 상태 코드(4xx/5xx) 분포

라이브 관측

Widget	Description
액티브 LLM API	실행 중인 LLM API 호출과 장기 실행 목록
액티브 트라젝토리	진행 중 Trajectory 수와 등급별 분포
실시간 프롬프트	최근 종료된 LLM 트랜잭션 50건과 프롬프트

---

제공 위젯 상세 설명

요약 건수

조회 구간의 총 건수를 큰 숫자 한 줄로 보여 주는 위젯 그룹입니다. 세 위젯 모두 기본 조회 구간은 10분이며, 실시간 모드에서는 최근 10분 이동 구간의 합계가 5초마다 갱신됩니다. 숫자나 헤더의 상세 아이콘을 클릭하면 같은 구간을 5초 간격으로 쪼갠 추이 차트가 모달로 열립니다.

세 위젯은 AI 에이전트 메인 대시보드의 첫 행에 기본 배치되어 있습니다. 편집 가능한 대시보드에서는 위젯 추가 메뉴의 요약 그룹에서 골라 넣을 수 있습니다.

노트

세 위젯의 건수는 SDK가 보내는 값을 집계합니다. 건수 수집을 지원하지 않는 SDK 버전에서는 세 위젯 모두 0으로 표시됩니다.

트라젝토리 건수

Property	Value
차트 유형	큰 숫자 + 추이 차트(모달)
필터	대시보드 애플리케이션 필터
액션	상세 보기

조회 구간 동안 새로 시작된 트라젝토리의 총 건수를 표시합니다. 세는 단위는 트랜잭션이 아니라 트라젝토리, 곧 같은 mtid로 묶이는 흐름 하나입니다. 트라젝토리 하나에 트랜잭션이 여러 개 묶여 있어도 1건으로 셉니다.

• 숫자 아래에는 지금 실행 중인 트라젝토리 수를 함께 표시합니다. 큰 숫자는 구간 안에 시작된 건수이고, 실행 중은 현재 시점의 스냅샷입니다. 두 값의 기준 시점이 다르므로 서로 더하거나 빼서 해석하지 마세요.
• SDK는 5초마다 그 구간에 새로 시작된 트라젝토리 수를 보내고, 위젯은 조회 구간에 들어오는 값을 더해 표시합니다. 5초 안에 시작하고 끝난 트라젝토리도 빠지지 않습니다.
• 부모에게서 mtid를 이어받은 흐름은 새로 시작한 것으로 세지 않습니다. 트라젝토리 하나가 여러 프로세스나 호스트를 거쳐도 시작 건수는 한 번만 올라갑니다.
• 숫자를 클릭하면 5초 간격 추이 그래프가 열려, 구간 안에서 트라젝토리가 몰린 시점을 확인할 수 있습니다.

LLM API 호출 건수

Property	Value
차트 유형	큰 숫자 + 추이 차트(모달)
필터	대시보드 애플리케이션 필터
액션	상세 보기

조회 구간 동안 LLM API가 호출된 총 건수를 표시합니다.

• 숫자 아래에는 트라젝토리 하나당 평균 LLM API 호출 수를 함께 표시합니다. 같은 구간의 호출 건수를 트라젝토리 시작 건수로 나눈 값입니다.
• 요청량과 에러율의 변화를 함께 보려면 LLM API 요청 수 위젯을 사용하세요.

도구 호출 건수

Property	Value
차트 유형	큰 숫자 + 추이 차트(모달)
필터	대시보드 애플리케이션 필터
액션	상세 보기

조회 구간 동안 발생한 도구 호출(tool use)의 총 건수를 표시합니다. 기능 사용 통계에서 tool_use 항목만 골라 합산한 값입니다.

• 숫자 아래에는 같은 구간의 전체 LLM API 호출 대비 도구 호출 비율(%)을 함께 표시합니다.
• 도구 호출 비율이 갑자기 오르면 에이전트가 같은 도구를 되풀이해 부르고 있는지 액티브 트라젝토리 위젯의 등급 분포와 함께 확인하세요.

LLM API 요청

LLM API의 요청량과 상태 코드를 모니터링하는 위젯 그룹입니다.

LLM API 요청 수

Property	Value
차트 유형	바 차트(요청 수) + 라인 차트(에러율) 복합
필터	태그 필터
액션	개별로 보기, 병합 보기, 상세 보기

LLM API에 전달된 시간대별 요청 건수와 에러율(%)을 함께 표시합니다. 바 차트(좌측 Y축)는 요청량, 라인(우측 Y축)은 전체 요청 대비 에러 비율입니다.

• 요청량이 급증하면서 에러율도 함께 상승하면 Rate Limit 초과 또는 프로바이더 장애 가능성이 있습니다.
• 요청량은 변화 없는데 에러율만 상승하면 특정 모델이나 애플리케이션에서 문제가 발생하고 있을 수 있으므로, 개별로 보기로 원인을 좁혀볼 수 있습니다.

상태 코드별 요청 건수

Property	Value
차트 유형	스택 바 차트
필터	없음
액션	상세 보기

시간대별 HTTP 상태 코드 분포를 2xx(성공), 4xx(클라이언트 에러), 5xx(서버 에러)로 나누어 표시합니다.

• 4xx 증가: 잘못된 요청 파라미터, 인증 실패, 토큰 한도 초과 등 요청 측 문제를 점검해야 합니다.
• 5xx 증가: LLM 프로바이더 측 서버 장애나 일시적 과부하 상태를 의미합니다.
• LLM API 요청 수 위젯의 에러율과 함께 보면 에러 원인을 빠르게 분류할 수 있습니다.

LLM API 응답 성능

LLM API의 전체 응답 시간(Latency)을 다양한 관점에서 분석하는 위젯 그룹입니다. Latency는 요청을 보낸 시점부터 응답이 완전히 완료되기까지의 전체 소요 시간입니다.

Latency 평균

Property	Value
차트 유형	라인 차트
필터	태그 필터
액션	개별로 보기, 병합 보기, 상세 보기

시간대별 Latency 평균 추이를 표시합니다.

• Latency 평균가 전반적으로 상승하면 모델 응답 속도 저하나 네트워크 지연을 점검해야 합니다.
• 개별로 보기로 모델별 Latency를 비교하여 어떤 모델에서 지연이 발생하는지 확인할 수 있습니다.

Latency 백분위

Property	Value
차트 유형	라인 차트 (p50, p75, p95, p99 4개 시리즈)
필터	없음
액션	상세 보기

시간대별 Latency의 백분위수 추이를 p50, p75, p95, p99 네 개 시리즈로 표시합니다. 예를 들어 p95 값이 3초이면 전체 요청 중 95%가 3초 이내에 완료되었음을 의미합니다.

• p50과 p99의 격차가 크면 대부분의 요청은 빠르지만 일부 요청에서 심한 지연이 발생하고 있다는 의미입니다.
• p50과 p99가 함께 상승하면 전체적인 성능 저하를 의미합니다.

Latency 백분위 개별 위젯

Property	Value
차트 유형	라인 차트
필터	태그 필터
액션	개별로 보기, 병합 보기, 상세 보기

각 백분위수를 개별 위젯으로 제공합니다. 백분위수별 의미는 다음과 같습니다.

Percentile	Description
p50	전체 요청 중 절반이 이 시간 이내에 완료. 일반적인 사용자가 체감하는 평균적인 응답 속도.
p75	전체 요청 중 75%가 이 시간 이내에 완료. p50과의 격차로 상위 25% 요청의 추가 지연 파악.
p95	전체 요청 중 95%가 이 시간 이내에 완료. SLA(서비스 수준 협약) 기준 지표로 자주 사용.
p99	전체 요청 중 99%가 이 시간 이내에 완료. 가장 느린 상위 1% 요청, 시스템 안정성 판단.

Latency 분포 비교

Property	Value
차트 유형	박스플롯 (x축: 모델)
필터	태그 필터 (상시 노출)
액션	상세 보기

태그 기준(모델 등)별로 Latency의 분포를 박스플롯으로 비교합니다. 박스 영역은 p25 ~ p75(중간 50% 범위), 중앙 선은 중앙값, 위스커는 최솟값 ~ 최댓값을 나타냅니다.

• 박스가 넓은 모델은 응답 시간 편차가 크므로 안정성 개선이 필요할 수 있습니다.
• 위스커가 길게 늘어진 모델은 간헐적으로 극단적인 지연이 발생하고 있음을 의미합니다.
• 여러 모델의 분포를 나란히 비교하여 가장 안정적인 모델을 식별할 수 있습니다.

TTFT (Time To First Token)

TTFT는 요청을 보낸 후 첫 번째 응답 토큰이 도착하기까지의 시간입니다. TTFT가 길어지면 사용자 입장에서 "응답이 시작되지 않는다"는 체감을 주게 됩니다.

TTFT 평균

Property	Value
차트 유형	라인 차트
필터	태그 필터
액션	개별로 보기, 병합 보기, 상세 보기

시간대별 TTFT 평균 추이를 표시합니다.

• 특정 시간대에 TTFT가 급등하면 모델 큐 대기 증가나 프로바이더 측 지연을 점검해야 합니다.
• 개별로 보기로 어떤 모델에서 초기 응답이 느린지 비교할 수 있습니다.

TTFT 백분위

Property	Value
차트 유형	라인 차트 (p50, p75, p95, p99 4개 시리즈)
필터	없음
액션	상세 보기

시간대별 TTFT의 백분위수 추이를 p50, p75, p95, p99 네 개 시리즈로 표시합니다. 예를 들어 p95 값이 2초이면 전체 요청 중 95%가 2초 이내에 첫 토큰을 수신했음을 의미합니다.

• p50은 안정적인데 p99만 급등하면 간헐적으로 큐 대기가 발생하고 있다는 신호입니다.
• 모든 백분위가 함께 상승하면 전반적인 초기 응답 지연이 발생하고 있습니다.

TTFT 백분위 개별 위젯

Property	Value
차트 유형	라인 차트
필터	태그 필터
액션	개별로 보기, 병합 보기, 상세 보기

각 백분위수를 개별 위젯으로 제공합니다.

Percentile	Description
p50	대부분의 사용자가 체감하는 초기 응답 대기 시간.
p75	p50과의 격차로 상위 25% 요청의 추가 초기 지연 파악.
p95	"대부분의 사용자에게 이 정도 초기 응답 대기는 보장됩니다"라는 SLA 기준 지표.
p99	가장 느린 상위 1%의 초기 응답 시간. 간헐적 타임아웃이나 특정 조건에서의 지연 점검.

TTFT 분포 비교

Property	Value
차트 유형	박스플롯 (x축: 모델)
필터	태그 필터 (상시 노출)
액션	상세 보기

태그 기준(모델 등)별로 TTFT의 분포를 박스플롯으로 비교합니다. 박스 영역은 p25 ~ p75, 중앙 선은 중앙값, 위스커는 최솟값 ~ 최댓값입니다.

• 중앙값이 낮고 박스가 좁은 모델이 가장 안정적으로 빠른 초기 응답을 제공합니다.
• 위스커가 길게 늘어진 모델은 간헐적으로 극단적인 초기 지연이 발생합니다.

TPOT (Time Per Output Token)

TPOT는 출력 토큰이 하나 생성되는 데 걸리는 평균 시간입니다. TPOT가 낮을수록 스트리밍 응답이 부드럽게 느껴지며, 높아지면 "응답이 끊기는" 느낌을 줄 수 있습니다.

TPOT 평균

Property	Value
차트 유형	라인 차트
필터	태그 필터
액션	개별로 보기, 병합 보기, 상세 보기

시간대별 TPOT 평균 추이를 표시합니다.

• 특정 시간대에 TPOT가 급등하면 모델 부하 증가나 Rate Limit 영향을 점검해야 합니다.
• 개별로 보기로 모델별 토큰 생성 속도를 비교할 수 있습니다.

TPOT 백분위

Property	Value
차트 유형	라인 차트 (p50, p75, p95, p99 4개 시리즈)
필터	없음
액션	상세 보기

시간대별 TPOT의 백분위수 추이를 p50, p75, p95, p99 네 개 시리즈로 표시합니다. 예를 들어 p95 값이 40ms이면 전체 요청 중 95%에서 토큰 하나가 40ms 이내에 생성되었음을 의미합니다.

• p50은 안정적인데 p99만 높아지면 간헐적으로 토큰 생성이 멈추는 현상이 발생하고 있다는 신호입니다.
• 모든 백분위가 함께 상승하면 전반적인 스트리밍 속도 저하를 의미합니다.

TPOT 백분위 개별 위젯

Property	Value
차트 유형	라인 차트
필터	태그 필터
액션	개별로 보기, 병합 보기, 상세 보기

각 백분위수를 개별 위젯으로 제공합니다.

Percentile	Description
p50	일반적인 스트리밍 속도. 가장 부드러운 스트리밍을 제공하는 모델 확인.
p75	p50과의 격차로 상위 25% 요청의 스트리밍 속도 저하 파악.
p95	SLA 기준 스트리밍 속도 지표.
p99	가장 느린 상위 1%의 토큰 생성 속도. 간헐적 멈춤 현상 점검.

TPOT 분포 비교

Property	Value
차트 유형	박스플롯 (x축: 모델)
필터	태그 필터 (상시 노출)
액션	상세 보기

태그 기준(모델 등)별로 TPOT의 분포를 박스플롯으로 비교합니다. 박스 영역은 p25 ~ p75, 중앙 선은 중앙값, 위스커는 최솟값 ~ 최댓값입니다.

• 중앙값이 낮고 박스가 좁은 모델이 가장 안정적인 스트리밍 성능을 제공합니다.
• 위스커가 길게 늘어진 모델은 간헐적으로 토큰 생성이 크게 느려지는 현상이 발생합니다.

종합 성능 비교

Property	Value
차트 유형	수평 바 차트 (모델별, 3개 지표)
필터	태그 필터 (상시 노출)
액션	상세 보기, p95/p99 탭 전환

모델별 핵심 성능 지표 3가지를 수평 바 차트로 비교합니다. p95/p99 탭을 전환하여 일반적인 성능과 최악 조건에서의 성능을 각각 확인할 수 있습니다.

Metric	Description	Direction
TTFT	사용자가 첫 응답을 받기까지 대기하는 시간	낮을수록 좋음
TPOT	토큰 하나가 생성되는 데 걸리는 시간(스트리밍 속도)	낮을수록 좋음
Output TPS	초당 생성되는 출력 토큰 수(전체 처리량)	높을수록 좋음

세 지표를 종합하면 "빠르게 시작하고, 부드럽게 스트리밍하며, 높은 처리량을 내는 모델"을 한눈에 식별할 수 있습니다.

토큰

토큰 사용 패턴과 캐시 효율을 모니터링하는 위젯 그룹입니다.

토큰 사용량

Property	Value
차트 유형	라인 차트 (input, output 2개 시리즈)
필터	태그 필터
액션	개별로 보기, 병합 보기, 상세 보기

시간대별 입력 토큰 수와 출력 토큰 수의 추이를 표시합니다. 입력 토큰은 프롬프트에 포함된 토큰, 출력 토큰은 모델이 생성한 응답 토큰입니다.

• 특정 시간대에 토큰 사용량이 급증하면 트래픽 증가, 프롬프트 변경, 비정상 요청 유입을 점검해야 합니다.
• 개별로 보기로 어떤 모델이나 애플리케이션에 토큰 소비가 집중되는지 확인할 수 있습니다.

요청당 평균 토큰

Property	Value
차트 유형	라인 차트 (input, output 2개 시리즈)
필터	태그 필터
액션	개별로 보기, 병합 보기, 상세 보기

요청 1건당 사용된 평균 입력/출력 토큰 수의 시간대별 추이를 표시합니다.

• 요청당 입력 토큰이 급증하면 프롬프트 길이가 길어졌거나 긴 컨텍스트가 포함되기 시작했을 수 있습니다.
• 요청당 출력 토큰이 급증하면 응답 길이가 늘어난 것으로, 비용 증가에 직접 영향을 줍니다.

출력 토큰 처리량

Property	Value
차트 유형	라인 차트
필터	태그 필터
액션	개별로 보기, 상세 보기

초당 생성되는 출력 토큰 수(Tokens Per Second)를 나타내는 처리량 지표입니다.

• 처리량이 떨어지는 구간은 모델 응답 병목이나 Rate Limit 영향을 점검해야 합니다.
• 토큰 사용량과 함께 보면 "토큰은 많이 사용하는데 처리 속도가 느린 구간"을 식별할 수 있습니다.

토큰 사용 분포

Property	Value
차트 유형	히스토그램 (태그별 그룹)
필터	태그 필터 (상시 노출)
액션	상세 보기

태그 기준(모델 등)별로 입력/출력 토큰 총량을 비교하는 분포 차트입니다.

• 어떤 모델이 가장 많은 토큰을 소비하는지 한눈에 확인할 수 있습니다.
• 입력 비중이 높은 모델은 프롬프트 최적화로 비용을 절감할 여지가 있습니다.
• 출력 비중이 높은 모델은 응답 길이 제한(max_tokens) 조정을 검토할 수 있습니다.

금일 토큰 사용량

Property	Value
차트 유형	일간 비교 차트 (금일/전일)
필터	없음
액션	날짜 비교

금일 누적 토큰 사용량(input + output)과 전일 동일 시간대 대비 증감을 표시합니다.

• 전일 대비 토큰 소비 속도가 빠르면 트래픽 증가나 프롬프트 크기 변화를 점검해야 합니다.
• Rate Limit 한도나 일일 예산 초과를 사전에 감지하는 데 활용할 수 있습니다.

캐시 적중률

Property	Value
차트 유형	라인 차트 (%)
필터	태그 필터
액션	개별로 보기, 상세 보기

전체 입력 토큰 중 캐시에서 가져온 토큰의 비율(%)을 시간대별로 표시합니다.

• 적중률이 높을수록 프롬프트 캐싱이 효과적으로 동작하고 있으며, 비용 절감 효과가 큽니다.
• 적중률이 갑자기 하락하면 프롬프트 내용 변경, 캐시 TTL 만료, 새로운 유형의 요청 유입을 점검해야 합니다.
• 개별로 보기로 모델별 캐시 효율을 비교할 수 있습니다.

계산식

캐시 적중률 = (구간 내 cached_tokens 합계 / 구간 내 input_tokens 합계) × 100

캐시 적중률 분포

Property	Value
차트 유형	히스토그램 (태그별)
필터	태그 필터 (상시 노출)
액션	상세 보기

태그 기준(모델 등)별로 캐시 적중률(%)을 비교하는 분포 차트입니다.

• 적중률이 높은 모델은 캐싱이 잘 활용되고 있으며, 낮은 모델은 캐싱 대상 프롬프트 구조를 점검해야 합니다.
• 모델 간 적중률 격차가 크면 캐싱 전략을 모델별로 차별화하여 비용을 추가로 절감할 수 있습니다.

캐시 절감 비용

Property	Value
차트 유형	라인 차트 ($)
필터	태그 필터
액션	개별로 보기, 상세 보기

프롬프트 캐싱을 통해 실제로 절약된 금액($)을 시간대별로 표시합니다. 캐시된 토큰은 일반 입력 토큰보다 낮은 단가가 적용되며, 이 차이가 절감 비용으로 산출됩니다.

• 절감 비용이 꾸준히 발생하면 캐싱 전략이 효과적으로 동작하고 있다는 의미입니다.
• 절감 비용이 감소하면 캐시 적중률과 함께 확인하여 캐시 미스 증가 여부를 점검해야 합니다.
• 개별로 보기로 어떤 모델에서 가장 큰 절감 효과가 발생하는지 확인할 수 있습니다.

캐시 절감 비용 분포

Property	Value
차트 유형	히스토그램 (태그별)
필터	태그 필터 (상시 노출)
액션	상세 보기

태그 기준(모델 등)별로 캐시 절감 비용($)을 비교하는 분포 차트입니다.

• 절감 비용이 큰 모델은 캐싱 효과가 높으므로 해당 모델의 캐싱 설정을 유지하고 강화하는 것이 유리합니다.
• 절감 비용이 낮은 모델은 캐시 적중률과 함께 확인하여 캐싱 대상 프롬프트 구조 개선이나 캐시 TTL 조정을 검토할 수 있습니다.

비용

LLM API 사용 비용을 모니터링하는 위젯 그룹입니다.

비용 사용량

Property	Value
차트 유형	라인 차트 (input, output 2개 시리즈)
필터	태그 필터
액션	개별로 보기, 병합 보기, 상세 보기

시간대별 입력/출력 비용($) 추이를 표시합니다. 입력 비용은 프롬프트 처리 비용, 출력 비용은 응답 생성 비용입니다.

• 비용이 급증하는 시간대가 있으면 해당 구간의 요청량과 요청당 토큰 수를 함께 확인해야 합니다.
• 입력 비용과 출력 비용의 비중을 비교하여 프롬프트 최적화와 응답 길이 제한 중 어디에 집중할지 판단할 수 있습니다.
• 개별로 보기로 모델별 비용 기여도를 비교할 수 있습니다.

요청당 평균 비용

Property	Value
차트 유형	라인 차트 (input, output 2개 시리즈)
필터	태그 필터
액션	개별로 보기, 병합 보기, 상세 보기

요청 1건당 발생하는 평균 입력/출력 비용($)의 시간대별 추이를 표시합니다.

• 요청당 비용이 갑자기 변하면 모델 전환, 프로바이더 가격 변경, 프롬프트 크기 변화를 점검해야 합니다.
• 총 비용은 증가했지만 요청당 비용은 변동 없다면 단순히 요청량이 늘어난 것이므로, 요청량 관리에 집중하면 됩니다.

비용 사용 분포

Property	Value
차트 유형	히스토그램 (태그별 그룹)
필터	태그 필터 (상시 노출)
액션	상세 보기

태그 기준(모델 등)별로 입력/출력 비용 총량을 비교하는 분포 차트입니다.

• 어떤 모델이 가장 높은 비용을 차지하는지 한눈에 확인할 수 있습니다.
• 비용이 높은 모델의 사용 빈도와 요청당 토큰을 점검하여 비용 최적화 대상을 선정할 수 있습니다.

금일 비용

Property	Value
차트 유형	일간 비교 차트 (금일/전일)
필터	없음
액션	날짜 비교

금일 누적 비용($)과 전일 동일 시간대 대비 증감을 표시합니다.

• 전일 대비 비용 소비 속도가 빠르면 요청량 증가, 모델 전환, 프롬프트 크기 변화를 점검해야 합니다.
• 일일 예산 초과를 사전에 감지하여 대응 조치를 취할 수 있습니다.

에러

LLM API의 에러 현황을 모니터링하는 위젯 그룹입니다.

에러율 분포

Property	Value
차트 유형	수평 바 차트
필터	태그 필터
액션	개별로 보기, 병합 보기, 상세 보기

태그 기준(모델 등)별로 에러율(%)을 수평 바 차트로 비교합니다. 에러율은 해당 그룹의 전체 요청 중 에러(status_code 400 이상)가 차지하는 비율입니다.

• 특정 모델이나 애플리케이션에 에러가 집중되어 있는지 빠르게 파악할 수 있습니다.
• 에러율이 높은 모델은 프로바이더 장애, 잘못된 파라미터, Rate Limit 초과 등을 점검해야 합니다.
• 개별로 보기로 Agent, Provider 등 다양한 기준으로 에러 원인을 좁힐 수 있습니다.

에러 건수

Property	Value
차트 유형	스택 바 차트
필터	없음
액션	상세 보기

시간대별 에러 건수를 API 에러와 프로그램 에러로 구분하여 표시합니다.

• API 에러: LLM 프로바이더 측에서 반환한 에러로, Rate Limit 초과, 서버 오류, 인증 실패 등이 해당됩니다.
• 프로그램 에러: 클라이언트 측에서 발생한 에러로, 응답 파싱 실패, 타임아웃, 연결 오류 등이 해당됩니다.
• 에러 유형별 추이를 통해 문제 원인이 프로바이더 측인지 클라이언트 측인지 빠르게 구분할 수 있습니다.

라이브 관측

지금 실행 중인 LLM 호출과 Trajectory를 확인하는 위젯 그룹입니다. Trajectory는 하나의 LLM 작업 흐름에 참여한 트랜잭션을 하나로 묶은 단위입니다. 두 위젯의 목록 화면은 SDK에서 직접 조회한 실행 중 데이터를 사용하므로 과거 구간이 없습니다. 대시보드가 정지 상태이거나 과거 시각을 조회 중이면 목록을 열 수 없습니다.

액티브 LLM API

Property	Value
차트 유형	스웜 차트(모델별 트랙)
필터	대시보드 애플리케이션 필터
액션	상세 보기, 새 창 열기

현재 실행 중인 LLM API 호출을 모델별 트랙 위에 점으로 표시합니다. 점 하나가 호출 하나이며, 가로 위치는 Normal, Slow, Very Slow 구간을 나타냅니다. 세 구간의 기준은 SDK 옵션에 설정한 값에 따라 데이터가 집계됩니다.

• Very Slow 구간에 점이 쌓이면 SDK 옵션에 설정한 기준보다 오래 실행되는 호출이 특정 모델이나 프로바이더에 몰렸는지 확인하세요.
• 위젯 본문을 클릭하면 장기 실행 목록이 모달로 열립니다. 프롬프트 펼치기를 통해 실행 중인 시스템 프롬프트와 입력 프롬프트를 확인할 수 있으며, 목록에서 호출을 선택하면 그 호출이 속한 Trajectory 뷰로 이동해 전체 실행 흐름을 확인할 수 있습니다.
• 위젯 헤더의 상세 보기 버튼을 클릭하면 같은 목록을 넓은 화면으로 열 수 있습니다. 모달 헤더의 새 창 열기 버튼을 클릭하면 별도 창으로 띄웁니다.

액티브 트라젝토리

Property	Value
차트 유형	궤도 차트 + 등급별 건수 목록
필터	대시보드 애플리케이션 필터
액션	상세 보기, 새 창 열기

현재 활성화된 Trajectory 수와 각 Trajectory의 Step 개수를 Light, Middle, Heavy 등급으로 나누어 표시합니다. 등급은 Step을 얼마나 많이, 반복해서 호출했는지를 나타내며 속도나 실행 시간을 뜻하지 않습니다.

• 소속 멀티 트랜잭션 중 하나라도 실행 중이면 그 Trajectory를 라이브 상태로 셉니다.
• 등급 경계값은 SDK 옵션에 설정한 기준을 따릅니다.
• 등급을 클릭하면 그 등급으로 걸러진 Trajectory 목록이 열립니다. 목록에서 행을 선택하면 Trajectory 뷰로 이어집니다.
• 궤도 차트를 클릭하면 등급을 거르지 않은 전체 목록이 열립니다.

액티브 Trajectory 목록

목록은 현재 실행 중인 Trajectory 단위 그룹 헤더와 그 아래 트랜잭션 행으로 구성됩니다. 그룹 헤더에는 mtid, 묶인 트랜잭션 수, 사용자, 세션을 표시하며, mtid가 없는 단독 흐름은 단독 실행으로 표시합니다. 목록은 CSV로 내보낼 수 있습니다.

Column	Description
Transaction	트랜잭션 이름
상태	트랜잭션 진행 상태(실행 중, 완료, 실패)
mtid	Trajectory를 묶는 키
스텝	트랜잭션이 수행한 스텝 수
에이전트	트랜잭션이 실행한 AI 서브에이전트 수
LLM 호출 수	트랜잭션 안에서 발생한 LLM 호출 수
경과	트랜잭션 시작 후 경과 시간
사용자	로그에 부착된 user_id
세션	로그에 부착된 session_id

실시간 프롬프트

Property	Value
차트 유형	표
필터	대시보드 애플리케이션 필터
액션	새로고침, 새 창 열기

종료 시각이 가장 최근인 LLM 트랜잭션 50건을 프롬프트와 함께 표로 보여 줍니다. 조회 구간은 대시보드 시간 설정을 따르며 5초마다 갱신됩니다.

• 제목 오른쪽에 실제 조회 구간과 표에 올린 건수(예를 들어 최근 50건)가 표시됩니다.
• 표는 갱신될 때 화면을 비우지 않습니다. 로딩 표시는 새로고침 버튼을 직접 눌렀을 때만 나타납니다.
• 프롬프트 열은 그 트랜잭션의 첫 스텝 입력과 마지막 스텝 출력을 한 칸에 묶어 보여 주고, 평가 결과가 있으면 함께 표시합니다. 프롬프트를 클릭하면 해당 트랜잭션의 LLM 트레이스 상세가 새 창으로 열립니다.
• 종료 시각을 기준으로 정렬합니다. 에러로 종료된 트랜잭션도 표시하며, 이 경우 응답과 토큰, 비용은 비어 있을 수 있습니다.
• 로그 적재가 몇 초 늦기 때문에, 방금 끝난 트랜잭션은 다음 갱신에서 맨 위로 올라옵니다.

이 위젯은 AI 에이전트 메인 대시보드 하단 한 행 전체에 기본 배치되어 있습니다. 편집 가능한 대시보드에서는 위젯 추가 메뉴의 LLM API 요청 그룹에서 골라 넣을 수 있습니다.

참고

수집 원본 필드

Field	Description
request_count	LLM API 호출 건수
status_code	HTTP 응답 상태 코드 (2xx, 4xx, 5xx)
latency	요청 시작 ~ 응답 완료 전체 시간 (ms)
ttft	Time To First Token. 요청 시작 ~ 첫 토큰 수신 (ms)
tpot	Time Per Output Token. 출력 토큰 간 평균 간격 (ms)
input_tokens	전체 입력 토큰 수 (cached 포함)
output_tokens	출력 토큰 수
cached_tokens	캐시에서 가져온 입력 토큰 수 (input_tokens의 부분집합)
input_tokens_cost	전체 입력 토큰 비용 ($). cached_tokens_cost 포함
output_tokens_cost	출력 토큰 비용 ($)
cached_tokens_cost	캐시 토큰 비용 ($)
error_type	에러 유형 (api_error, program_error)

위젯 그룹 요약

Group	Widgets	Description
요약 건수	3	조회 구간의 트라젝토리, LLM API 호출, 도구 호출 총 건수
LLM API 요청	2	요청량과 상태 코드 모니터링
LLM API 응답 성능	8	Latency 전반의 추이와 분포 분석
TTFT	7	첫 토큰 수신 시간 분석
TPOT	7	토큰 생성 속도 분석
토큰	9	토큰 사용 패턴과 캐시 효율 분석
비용	4	LLM API 비용 모니터링
에러	2	에러 유형별 현황 분석
라이브 관측	3	실행 중인 LLM 호출과 Trajectory 현황, 최근 종료 트랜잭션 파악
합계	45

용어

Term	Description
Latency	LLM API 요청을 보낸 시점부터 응답이 완전히 완료되기까지의 전체 소요 시간 (ms)
TTFT	Time To First Token. 요청을 보낸 후 첫 번째 응답 토큰이 도착하기까지의 시간 (ms)
TPOT	Time Per Output Token. 출력 토큰이 하나 생성되는 데 걸리는 평균 시간 (ms)
Output TPS	Tokens Per Second. 초당 생성되는 출력 토큰 수 (tokens/s)
백분위수	데이터를 크기 순서로 정렬했을 때 해당 백분율 아래에 있는 값. 예: p95 = 전체 데이터의 95%가 이 값 이하
캐시 적중률	전체 입력 토큰 중 캐시에서 가져온 토큰의 비율 (%). 값이 클수록 비용 절감 효과가 큼
태그 필터	Agent, Model, Provider, Operation 기준으로 데이터를 필터링하는 기능
프리셋	위젯 구성(종류, 위치, 크기)을 저장한 설정. 사용자 정의 프리셋 생성 가능
Trajectory	하나의 LLM 작업 흐름에 참여한 트랜잭션을 mtid 기준으로 묶은 단위. 화면에는 「트라젝토리」로 표기합니다.
도구 호출	모델이 외부 도구를 부른 호출(tool use). 기능 사용 통계의 tool_use 항목으로 집계합니다.